Zesty, Kubernetes AI iş yükleri için otonom GPU bölümlendirmesi ekliyor

Temel Çıkarımlar

• Zesty’nin Otomatik Kesirli GPU’ları NVIDIA’nın açık kaynaklı Run:ai GPU-kesirleme operatörünün üzerine otonom bir karar-alma katmanı ekler.
• Çözüm, iş yükü talebine göre GPU belleğini ve işlem dilimlerini gerçek zamanlı olarak sürekli yeniden tahsis eder, manuel müdahale gerektirmez.
• Erken ölçümler %30-45 daha yüksek GPU kullanım oranı ve aynı donanım ayak izinde 2-3 kat daha fazla AI işi çalıştırabilme gösteriyor.
• Kuruluşlar için bu, gecikme-SLA garantilerini korurken GPU harcamasında %40’a kadar azalma anlamına gelir.

Arka Plan: GPU Kesirlemesinin Kubernetes’te Önemi

Kubernetes, AI iş yükleri için de-facto işletim sistemi haline gelmiştir. CNCF 2025 Cloud-Native Survey, %66 kuruluşun üretken-AI modellerini Kubernetes üzerinde çalıştırdığını rapor ediyor【1】. GPU kaynakları ise hâlâ maliyet darboğazı: bir NVIDIA A100 (40 GB) bulut fiyatlandırmasında yılda 12 k–14 k $ tutabilir ve birçok küme %30-50 ortalama kullanım oranına sahiptir.

Tarihsel olarak ekipler üç statik paylaşım stratejisine dayanmıştır:

Bu yaklaşımlar ya bellek/işlem döngülerini boşa harcar ya da talep değiştiğinde manuel yeniden bölümlendirme gerektirir.

NVIDIA Run:ai – Dinamik Kesirleme Yönündeki İlk Adım

2026’nın başlarında NVIDIA, Run:ai’yi açık kaynak yaptı ve GPU Kesirleme Operatörünü sundu; bu operatör pod başına bellek sınırlarını uygular ve Kubernetes zamanlayıcısıyla bütünleşir. Run:ai, bir GPU’nun nasıl dilimleneceğini (ör. 4 GB veya 8 GB parçalar) tanımlasa da hangi iş yüklerinin bu dilimleri kullanacağına veya ne zaman yeniden boyutlandırılacağına karar vermez.

Zesty’nin Otonom Katmanı: Sürekli, Politika-Tabanlı Tahsis

Zesty eksik karar motorunu oluşturur:

1. Gerçek-zamanlı telemetri – Hafif ajan, GPU bellek kullanımını, SM (streaming multiprocessor) kullanımını ve gecikme metriklerini her 5 saniyede bir toplar.
2. Politika motoru – Ekipler SLA’ları (ör. ≤ 10 ms çıkarım gecikmesi, maksimum %70 GPU kullanımı) ve namespace başına kaynak limitlerini önceden tanımlar.
3. Dinamik yerleştirme – Özel bir sezgisel algoritma (ağırlıklı-puan + pekiştirmeli-öğrenme) kullanarak ajan şunları belirler:
   • Tek bir GPU’da güvenli bir şekilde kaç iş yükünün birlikte çalışabileceği.
   • Her pod için tam bellek dilimi (ör. 3.2 GB vs. 4 GB).
   • İş yüküne göre MPS (düşük gecikmeli çıkarım) mı yoksa MIG (kütle eğitim) mi kullanılacağı.
4. Sürekli ayarlama – Talep arttıkça ajan, 12 GB bir dilimi iki 6 GB dilime bölebilir ya da boşta kalan dilimleri daha büyük bir bloğa birleştirebilir, tüm bunlar pod yeniden başlatmadan gerçekleşir.

Tüm kararlar, yöneticiler tarafından belirlenen performans politikalarına uyar; hiçbir iş yükünün gecikme veya kullanılabilirlik bütçesini aşması garanti edilir.

Sayısal Faydalar

Avrupa’da bir fintech firmasında (Berlin) yapılan üretim testinde, küme %38’den %81 ortalama GPU kullanımına yükselmiş, ekip dört A100 düğümünü devreden çıkararak aylık GPU harcamasını ≈ 18 k € azaltmıştır.

Dağıtım Genel Bakışı

• Ajan ayak izi: < 30 MB konteyner, DaemonSet olarak çalışır.
• Uyumluluk: Herhangi bir CNCF-sertifikalı Kubernetes dağıtımıyla çalışır (EKS, GKE, AKS, OpenShift).
• Entegrasyon noktaları: Run:ai GPU Kesirleme Operatörüyle Kubernetes API üzerinden ve zamanlayıcıyla Extender webhook’u aracılığıyla iletişim kurar.
• Güvenlik: Düğüm-seviyesi metriklerine sadece okuma izniyle erişir; tüm kararlar denetim-hazır JSON akışına kaydedilir.

Rakip Çözümlerle Karşılaştırma

Sonuç

Zesty’nin Otomatik Kesirli GPU yeteneği, NVIDIA’nın Run:ai aracını statik bir dilimleme aracından kendini optimize eden bir çözüme dönüştürür.