FDE Foundations · Modül 8: Ajanlar ve Araçlar
Ajan İş Akışlarını Değerlendirmek
Ajanları hislerle değil görevlerle değerlendir: notlandırılmış sonuçlu senaryo görevleri, maliyet ve adımlarla birlikte puanlanan ve her değişiklikte otomatik koşan.
11 dk okuma
Kazanımlar
- Notlandırılmış sonuçlarla görev tabanlı değerlendirmeler kurmak
- Başarı, maliyet ve adımları birlikte ölçmek
- Değerlendirmeleri CI'da ve sürüm öncesinde koşmak
Görev tabanlı değerlendirme
20-40 senaryo yaz: girdi durumu, ortam durumu (test verileri) ve başarının ne demek olduğu (doğru siparişe verilen iade, rubriğe uyan taslak e-posta). Dökümanları değil sonuçları notlandır: verimsiz yoldan doğru sonuca ulaşmak çoğunlukla başarıdır; güzel akıl yürütmeli yanlış sonuç başarısızlıktır.
Üçlü ölçüt
Başarı oranını, görev başına ortanca maliyeti ve ortanca adımı izle. Tekini optimize etmek yanıltır: iki kat sık kırılan daha ucuz ajan daha kötüdür. Üçlü, sürüm başına tablo olarak yayımlanır ve sistemin iyileştiğine seninle müşterinin aynı tablodan karar vermesini sağlar.
CI'da değerlendirme
Araç, prompt ya da model değişikliklerinde değerlendirme takımını koş. Karşılaştırılabilirlik için model sürümlerini sabitle ve sabit yükseltmelerde yeniden koş. Eşiği aşan regresyonda derlemi kır: ajan regresyonları elle testlere sessizdir; takımın varlık sebebi tam olarak bu.
Değerlendirmeden sürüm notlarına
Müşteriye onların dilinde raporla: "40 senaryoda iade doğruluğu yüzde 96, araç önbelleği sonrası vaka başına maliyet yüzde 18 düştü." Kendi takımından, dürüstçe etiketlenmiş sayılar, işin sonraki aşamasını taşıyan güveni kurar.
Mini kontrol
2-3 soruluk isteğe bağlı öz kontrol. Yanıtlar cihazından çıkmaz, saklanmaz ve hiçbir değerlendirmeye sayılmaz.
Alıştırma
Kurgusal bir seyahat-rezervasyon ajanı için değerlendirme takımını tasarlayın: beklenen sonuçlarıyla sekiz senaryo, üçlü ölçüt hedefleri ve model yükseltmelerinde CI kuralı.
Geçme kriterleri
Sekiz senaryo notlandırılmış sonuçlarla, üç ölçütün tümü hedef sayılarla ve CI kuralı regresyonları ve sabit model sürümü değişikliklerini kapsamalı.