FDE Foundations · Modül 7: RAG ve Getirme
RAG Değerlendirme Puan Kartları
Puan kartı olmayan RAG demosudur. Referans yanıtlı 30-50 gerçek soru kur, getirmeyi ve üretimi ayrı puanla, sayıları yayımla.
11 dk okuma
Kazanımlar
- Notlandırılmış referans yanıtlı soru seti kurmak
- Getirmeyi ve üretimi ayrı puanlamak
- Puan kartını yayımlamak ve her değişiklikte yeniden koşmak
Soru seti
Uydurma değil operatörlerden gerçek sorular topla. Her biri için: soru, referans yanıt, hedef belgeler ve bir notlandırıcı (olgusal yanıtlar için kesin alanlar, açık olanlar için rubrik satırları). Otuz iyi soru, üç sentetik soruyu yener; gerçekçilik olmadan hacim hiçbir şeyi ölçmez.
İki katman, iki puan
Getirme puanı: hedef belgeler aday sete girdi mi (k'ta duymazlık) ve tepede mi (kesinlik)? Üretim puanı: yanıt doğru mu, atıflı mı, eksiksiz mi, uydurmasız mı? Üretimi rubrikle ve riskler izin veriyorsa insan kontrollü model notlandırıcıyla ikinci geçişte değerlendir. İki puanı ayrı tut: çözümleri ve sahipleri farklıdır.
Puan kartı
Tek tablo, sürümlü: soru sayısı, getirme duymazlığı, yanıt doğruluğu, atıf kapsamı, uydurma olayları. Parçalama, model ya da prompt değişikliğinde yeniden koş ve müşteriye yayımla. Puan kartı aynı zamanda regresyon alarmındır: bir sayıyı yükseltip ötekini batıran değişiklik kullanıcıdan önce yakalanır.
"Daha iyi görünüyor" bir değerlendirme değildir. Puan kartı koşmadıysa değişiklik yayımlanmamıştır.
Mini kontrol
2-3 soruluk isteğe bağlı öz kontrol. Yanıtlar cihazından çıkmaz, saklanmaz ve hiçbir değerlendirmeye sayılmaz.
Alıştırma
Kurgusal bir IK politika asistanı için mini puan kartı kurun: on soru (başlıkları listele), hesaplayacağınız ölçütler, makul başlangıç sayıları ve yeniden koşma kuralı.
Geçme kriterleri
On soru konularıyla listelenmiş, getirme ve üretim ölçütleri tanımlı, başlangıç sayıları mevcut ve yeniden koşma tetiği belirli değişiklik türlerine bağlı olmalı.