Saturn Cloud, AI çıkarımı için NVIDIA Run:ai'yi entegre eder

Temel Çıkarımlar

• Saturn Cloud artık NVIDIA Run:ai üzerinde çalışıyor, platformuna AI-iş yükü orkestrasyonu ve çok-kiracılı çıkarım ekliyor.
• Entegrasyon, GPU-bulut operatörlerinin token-başına çıkarım, ayrılmış GPU kiralamaları ve yönetilen ince-ayar hizmetleri aracılığıyla boş GPU kapasitesinden para kazanmalarını sağlıyor.
• NVIDIA KAI Scheduler ve Grove, kiracılar arasında grup-planlama, kesirli-GPU tahsisi ve politika-tabanlı kota uygulaması sunuyor.
• Altta yatan NVIDIA Dynamo, dağıtılmış çıkarımı (vLLM, SGLang, TensorRT-LLM) güçlendirirken NVSentinel ve Fleet Intelligence sağlık izleme ve otomatik hata giderme sağlıyor.
• Birleşik çözüm bugün üretim-hazır ve izole, yönetilen AI hizmet ortamlarına ihtiyaç duyan işletmelere yönelik.

Saturn Cloud, NVIDIA Run:ai ile İşbirliği Yaptı

Saturn Cloud, yönetilen veri-bilim platformunun artık sektör lideri GPU orkestrasyon yığını NVIDIA Run:ai'i içerdiğini duyurdu. Ortaklık, geleneksel GPU-saat kiralama modelini token-tabanlı çıkarım pazarına dönüştürerek operatörlerin aynı donanım ayak izinden ek gelir elde etmesini sağlıyor.

Entegrasyonun GPU-bulut operatörleri için önemi

Tablo, Run:ai’in zamanlayıcı ve orkestrasyon katmanının daha yüksek yoğunluk ve daha esnek faturalama seçeneklerini, müşterilerin kendi hizmet yığını inşa etmesine gerek kalmadan nasıl açığa çıkardığını gösteriyor.

Tek Bir Filo Üzerinde Çok-Ürün Teklifi

Saturn Cloud artık aynı temel GPU havuzunu paylaşan üç ayrı hizmet sunuyor:

1. Ayrılmış GPU kapasitesi – Kendi ML yığınlarını getiren müşteriler tam GPU’lar veya kesirli dilimler kiralayabilir, saatlik faturalandırılır.
2. Token-başına model-as-a-service – Kullanıcılar bir API uç noktası alır ve işlenen token başına ücretlendirilir, SaaS-stil çıkarım iş yükleri için idealdir.
3. Yönetilen ince-ayar işleri – Saturn Cloud, veri alımı, kontrol noktası oluşturma ve GPU zamanlamasını müşterinin adına yöneterek uçtan uca ince-ayar boru hatlarını çalıştırır.

Üç hizmet de NVIDIA Dynamo’nun ayrık ön-doldurma ve çözümleme boru hattından yararlanır; bu, token üretim aşamalarını ayırarak büyük-dil-modeli (LLM) hizmetini hızlandırır. Platform, vLLM, SGLang ve NVIDIA TensorRT-LLM gibi önde gelen çıkarım çalışma zamanlarını destekleyerek kullanıcıların model boyutu ve gecikme hedeflerine en uygun motoru seçmelerine olanak tanır.

Yönetişim, Güvenlik ve Filo Sağlığı

Sıkı uyumluluk gereksinimleri olan işletmeler, Saturn Cloud’un yerleşik kimlik-erişim yönetimi (IAM), rol-tabanlı erişim kontrolü (RBAC) ve denetim kaydı özelliklerine güvenebilir. Düzenlenmiş iş yükleri için platform, ayrılmış izolasyon katmanları sunarak veri ve model çalıştırmayı fiziksel olarak ayrı tutar.

Operasyonel açıdan, NVSentinel GPU sağlığını sürekli izlerken NVIDIA Fleet Intelligence küme genelinde telemetrileri toplar. Bir düğümde bozulma (ör. sıcaklık artışı, ECC hataları) tespit edilirse, zamanlayıcı otomatik olarak o düğümü yerleştirme havuzundan çıkararak hizmet kesintilerini önler.

Kullanılabilirlik

Run:ai-geliştirilmiş Saturn Cloud platformu canlı ve üretime hazır. Potansiyel kullanıcılar fiyatlandırmayı inceleyebilir ve saturncloud.io adresinden kaydolabilir.

Sonuç

NVIDIA Run:ai’i entegre ederek Saturn Cloud, boş GPU döngülerini gelir-getiren, çok-kiracılı çıkarım pazarına dönüştürüyor. Birleşik yığın, daha yüksek kullanım, ince faturalama ve kurumsal-düzey yönetişim sunuyor—müşterilerin kendi hizmet altyapısını geliştirmesine gerek kalmadan. GPU-bulut operatörleri ve AI-odaklı işletmeler için ortaklık, çıkarım iş yüklerini verimli ve güvenli bir şekilde ölçeklendirmek için çekici bir yol sağlıyor.