Gecikme Bütçesi
Güncelleme · Teknik kontrol
Bir iş akışı için kabul edilebilir azami yanıt süresi; aşamaları arasında (getirme, üretim, ağ) dağıtılır.
Brifte beyan edilir (örneğin etkileşimli p95 < 3 sn), uçtan uca ölçülür, uyarılarla uygulanır. Bütçeyi kullanıcıların hissettiği yere harcayın - ilk token'a kadar geçen süre çoğu zaman toplam süreden daha önemlidir; LLM gecikme ve maliyetine bakın.