Getirme sistemleri için değerlendirme puan kartları
Güncelleme
Eğilimi izlenebilir yanıt kalitesi: soru seti, rubrik ve asistanları dürüst tutan haftalık alışkanlık.
Değerlendirmesiz asistanlar kayar. Her hafta aynı sorulu puan kartı kaymayı görünür çizgiye çevirir.
Kısa yanıt
Sabit soru seti, dört eksenli rubrik, isimli incelemecili haftalık koşular, sunumda eğilim. Puansız yeni sürüm yok.
Rubrik
| Eksen | Puanlar | Kırılır |
|---|---|---|
| Doğruluk | Yanıt kaynağa uyar | Atıflı belgeyle çelişir |
| Atıf | Her iddia kaynağa izlenir | Atıfsız olgular bilinir sunulur |
| Erişim saygısı | Sıfır yasak satır | Yasak belgeye her atıf |
| Bilmiyorum deme | Sonraki adımla bilinmez der | Reddetmek yerine uydurur |
Çalışılmış örnek: sürümü durduran puan kartı
Kurgusal asistan (kurgusal) birinci hafta 40'ta 34 alır, iki erişim sondajı kırık: yalnızca yönetici belgeleri ekip kullanıcılarına görünür. Sürüm bekler; kapsamlar sıkılaşır; üçüncü hafta sıfır erişim kırığıyla 38 alır. Durdurulan sürüm güven hikâyesine dönüşür. İzin yazısı kapsamları düzeltir; RAG kararı yazısı eğilimi eğitim kararında kullanır.
Kontrol listesi: değerlendirme disiplini
- Her hafta aynı sorular, tarihli sürümlü.
- Her koşuda adversaryal erişim sondajları.
- Sürümlerden önce isimli incelemeci eğilimi imzalar.
- Kırıklar düzeltme ve yeniden test tarihini adlandırır.
İlgili okuma
Net yanıtlar
Sık sorulan sorular
Kaç değerlendirme sorusu yeter?
30-50 ile başlayın: sık sorular, adversaryal erişim sondajları, bilinen zor durumlar. Hayalden değil kayıtlardan büyütün.
Yanıtları kim puanlar?
Sabit rubrik artı haftada isimli insan incelemeci. Rubrikler atıf, bilmiyorum deme ve erişim saygısını puanlar; insanlar eğilimi onaylar.
İyi geçme eşiği nedir?
Ölçmeden önce koyduğunuz, sunuma bağlı eşik: örneğin sık soruların 10'da 9'u atıflı ve doğru kapsamlı. Ölçüm sonrası seçilen eşikler pohpohlar.