FDE Foundations · Modül 6: AI Kararları
Maliyet ve Gecikme Bütçeleri
AI özellikleri birim ekonomide yaşar ya da ölür: belge başına maliyet, çağrı başına gecikme, aylık tavan. Tasarım anında bütçele ve ilk günden ölç.
10 dk okuma
Kazanımlar
- Kurmadan önce birim maliyet ve aylık harcamayı kestirmek
- Adım başına gecikme bütçesi koyup ölçmek
- Önbellek, yönlendirme ve gruplamayla maliyeti düşürmek
Aritmetiği yap
Günlük çağrı sayısı çarpı çağrı başına token (ya da saniye) çarpı birim fiyat. Günde 5.000 belgeyi her biri birkaç sentle işleyen özellik dört haneli aylık bir kalemdir: birileri bu sayıyı kurulmadan onaylamalı ve brif taşımali. Yeniden deneme yükünü ve inceleme kuyruğu emeğini aynı hesaba kat.
Gecikme bütçeleri
Sadece uçtan uca değil adım başına bütçe koy: getirme 200 ms, model çağrısı 2 sn, son işlem 50 ms ve kullanıcının akışına uyan sayfa hedefi. Her birini ilk dağıtımdan itibaren günlüklerde ölç. Ortalanan gecikme acıyı gizler; p95'i izle, çünkü yavaş kuyruk operatörün yaşadığı şeydir.
Kollar, tercih sırasıyla
Aynı ya da birbirine yakın istekleri önbellekle (çok belge tekrar eder). Zorluğa göre yönlendir: önce ucuz yol, gerekince pahalı model. Sağlayıcı izin veriyorsa küçük çağrıları grupla. Daha az getirerek prompt kısalt. Kaliteyi düşüren sıkıştırma numaraları en sona.
Tavan
Yüzde 50 ve 80'de alarm veren sert aylık harcama tavanı yapılandır. Kaçak döngü ya da kötüye kullanımlı girdi sana fatura ihtilafı değil alarm maliyet etmeli.
Mini kontrol
2-3 soruluk isteğe bağlı öz kontrol. Yanıtlar cihazından çıkmaz, saklanmaz ve hiçbir değerlendirmeye sayılmaz.
Alıştırma
Kurgusal bir çıkarma özelliği için maliyet modelini kurun: günde 8.000 belge, varsaydığınız token ve fiyat, aylık kestirim ve beklenen tasarrufla üç adlandırılmış kol. Üç adım için p95 gecikme bütçesi ekleyin.
Geçme kriterleri
Aritmetik gösterilmiş ve aylık tutar bildirilmiş, üç kol makul göreli tasarrufla, adım başına p95 bütçeleri kullanıcı kabul edilebilir toplama ulaşmalı.