Yapay zeka ajanları beklerken neden sunucu parası yakar, snapshot ile devam nasıl çözer
Güncelleme
Ajanlar ömürlerinin çoğunu model ve insan beklerken tam sunucu tutarak geçirir; dondur ve devam anlık görüntüleri sunucuları serbest bırakır, sonraki olayda ajanı geri getirir.
Ajan koşturan ekibe paranın nereye gittiğini sor, yanıt yeni gelenleri şaşırtır: çoğu beklemeye gider. Ajan modele bir şey sorar, bekler. İnsandan onay ister, daha uzun bekler. Bu sırada tam bir sunucu dilimi ayrılmış ve faturalı durur. Snapshot ile devam, beklemek ile ödemek arasındaki bu bağı kırmak için vardır.
Boş saatler nereden gelir
Çalışan ajan üç durum arasında gidip gelir. Düşünme ve araç çağrıları işlem yakar. Model çağrıları başkasının GPU işlemini bekler. Onaylar toplantısı, uykusu ve haftası olan insanları bekler. İnceleme, triyaj ve araştırma işlerinde ikinci ve üçüncü durum baskındır: saatlere yayılmış dakikalık işlem.
Klasik barındırma üç durumu aynı ücretler. Ajanın tüm ömrüne ayrılmış konteyner beklemeyi de faturalar. Yüzlerce ajanla çarp, fatura çoğunlukla sabır kirası olur.
Snapshot ile devam neyi değiştirir
Fikir işletim sistemleri ve serverless platformlardan ödünçtür, daha zor durum şekline uygulanır:
- Ajan bekleme noktasına gelir: model çağrısı, araç zaman aşımı ya da insan onay kapısı.
- Çalışma zamanı tüm durumu dışarı yazar: sohbet, araç geçmişi, açık dosyalar, bekleyen adımlar.
- Makine başka işe serbest kalır. Ajan yalnız veri olarak vardır.
- Beklenen olay gelir. Çalışma zamanı durumu uygun boş makineye geri yükler, ajan devam eder.
Ajanın kodunda hiçbir şey değişmez. Tasarruf, çoğu bekleyen çok ajanı az makineye paketlemekten gelir; otellerin aynı odayı her gece yeni misafire satması gibi.
Ajan durumu neden fonksiyon durumundan zordur
Serverless fonksiyon istek aralarında hatırlanacak neredeyse hiçbir şey olmadan donar. Ajan görev ortasında çok şeyle donar: kısmi araç çıktıları, yarım yazılmış dosya, insana üç açık soru, bitmemiş plan. Sadık geri getirme, yalnız süreç hafızasını değil çalışma alanı ve sohbeti birlikte yakalamak demektir.
Bu yüzden dürüst değerlendirme temiz kontrol noktalarında değil sohbet ortasında geri getirir. Ajanı dağınık çok adımlı görevin ortasında dondur, başka yerde devam ettir, devamı donmamış koşuyla karşılaştır. Devam eden ajan soruları tekrarlıyor ya da dosya kaybediyorsa snapshot altyapı değil tanıtımdır.
Çalışılmış örnek: kurgusal onay ağırlıklı destek ajanı
Aşağıdaki bağlam kurgusaldır. Kurgusal Northwind Parcels satıcısı (kurgusal) müşteri yanıtı taslayıp göndermeden önce her birini insanın onayına sunan kırk ajan koşturur. Her ajan dokuz saatlik vardiyada yaklaşık bir saat gerçek iş yapar.
Ayrılmış konteynerde filo kırk işlem saati için tüm gün kırk makine tutar. Dondur ve devam ile çalışma zamanı herhangi bir dakikada yalnız taslak yazan birkaç ajanı tutar, gerisini snapshot olarak park eder. Fatura vardiyayı değil taslağı izler. Onay kuyruğu yine dokuz saat insan zamanı alır, bu da normaldir: insan zamanı hiç sunucunun işi değildi.
Tuzaklar: snapshot neyi çözmez
Döngüler yine maliyet yazar. Donmuş ajan bedavadır ama döngüdeki ajan hiç donmaz. Her ajan snapshot sisteminden ayrı adım bütçesi, harcama tavanı ve otomatik durdurma ister.
Soğuk geri gelme şaşırtabilir. Devam sonrası ilk eylem önbellek, bağlantı ya da kimlik bilgisi isteyebilir. Geri gelme yolunu tek ajanlı demoda değil yük altında ölç.
Durum boyutu önemlidir. Adım başına megabaytlarca araç çıktısı biriktiren ajan her snapshot ağırlaştırır. Bağlamı kısalt, eski araç sonuçlarını arşivle, çalışma alanını zayıf tut, yoksa dondurmanın kendisi darboğaz olur.
İnsan yine hızı kapatır. Snapshot ile devam sunucu beklemesini kaldırır, insan beklemesini değil. Onay bir gün sürüyorsa iş bir gün sürer. Hızlı park yöneticilere hızlı tıklatmaz.
Kontrol listesi: tasarrufu tek iş yükünde kanıtla
- Ajan başına bir hafta aktif saniyeyi ömür saniyesine oranla ölç.
- İş yükünü iki türlü fiyatla: ayrılmış makine ve olayla geri getirme.
- Ortası dağınık gerçek sohbetle görev ortası devamı test et, merhaba dünya betiğiyle değil.
- Geri getirmeyi yükle test et: aynı dakikaya düşen elli onay.
- Adım ve harcama tavanını ilk üretim ajanından önce koy, ilk döngüden sonra değil.
İlgili okuma
- İki katmanlı genel bakış Google AX ve Agent Substrate nedir yazısındadır.
- Maliyet düşüncesi mühendislik alışkanlığı olarak DevOps Foundations Modül 1 ile eşleşir.
- Geri gelen ajanı kum havuzuna almak yapay zeka ajanlarını güvenli koşturma yazısındadır.
Net yanıtlar
Sık sorulan sorular
Yapay zeka ajanları neden sunucu parası harcar?
Model yanıtı ve insan onayı beklerken CPU ve RAM tutar. Ayrılmış makinede saatlerce beklemek düşünme molalarını kiraya çevirir.
Ajanlar için snapshot ile devam nedir?
Ajan beklerken hafıza ve durumunu diske yazıp makineyi serbest bırakmak, sonraki olay gelince ajanı yerinde geri getirmektir.
Serverless ölçeklenmeden farkı ne?
Mekanizma benzer ama durum farklıdır: fonksiyonlar HTTP çağrısı arası donar, ajanlar araç geçmişi, dosyalar ve bekleyen onaylarla sohbet ortasında donar.
Geri gelme süresi pratikte ne demektir?
Donmuş ajanın olay sonrası ne kadar hızlı üretken hale geldiğidir. İlk proje paylaşımları saniyenin altında süre anlatır; kendi iş yükünde doğrulamadan plan yapma.
Snapshot ajan hafızasını kaybettirir mi?
Kaybettirmemelidir. Doğru snapshot sohbeti, araç çıktılarını, çalışma dosyalarını ve bekleyen adımları alır, ajan tam kaldığı yerden devam eder.
Hangi ajanlar en çok yararlanır?
Onay kapılı ve uzun ufuklu ajanlar: triyaj, inceleme, araştırma ve insan ya da yavaş araç bekleyen çok adımlı otomasyon.
Hangi ajanlar en az yararlanır?
Sürekli işlem yapan sıkı döngüler: toplu üretim, hep açık sohbet uçları ve gerçekten hiç beklemeyen gecikme kritik kontrol yolları.
Bir şey almadan önce boş oranını nasıl ölçerim?
Bir hafta ajan başına aktif işlem saniyesini ömür saniyesine oranla kaydet. Bekleme baskınsa sorun zamanlama sorunudur, model sorunu değil.
Snapshot varken kaçak döngüler yine yakar mı?
Evet. Snapshot bekleme maliyetini kısar, döngü maliyetini değil. Döngüler ayrı bütçe, adım tavanı ve öldürme düğmesi ister.