FDE Foundations · Modül 6: AI Kararları
Modellerden Önce Başlangıç Değerleri
Başlangıç değeri, her modelin geçmesi gereken sayı ve model düştüğünde yedek yoldur. Atlamak, ekibin gerekçelendiremediği karmaşıklık yayımlamasıdır.
10 dk okuma
Kazanımlar
- Önce aptal başlangıç değerini kurup ölçmek
- Başlangıç değerini doğruluk çıtası ve yedek yol olarak kullanmak
- Modelin karmaşıklığını hak edip etmediğine sayıyla karar vermek
Aptal başlangıç
Herhangi bir modelden önce en basit çalışır yaklaşımı ölç: anahtar kelime eşleşmesi, son değeri ileriye taşımak, süre tutulmuş insan süreci, çoğunluk sınıfı. Bir öğleden sonra alır ve iki şey üretir: bir doğruluk sayısı ve bir yedek yol. Akıllı bir yaklaşım etiketli örneğin üzerinde başlangıç değerini geçemiyorsa, haftalarca zaman kazandın.
Dürüstçe geç
Adayı ve başlangıç değerini aynı ayrılmış örnek üzerinde aynı ölçütle değerlendir. İşin önemsediği ölçütü belirt: işaretlenen sahtekarlıkta kesinlik (yanlış alarmlar analist saati yakar), kaçan faturalarda duyarlılık (kaçanlar para kaybettirir). Doğrulukta kazanıp işin hissettiği ölçütte kaybeden model kazanmamıştır.
Yedek yol bir teslimattır
Model erişilemez olduğunda ya da güven eşiğinin altında kaldığında sistem başlangıç yoluna döner ve çıktıda bunu söyler. Güven eşikleri ve yedekler, araştırma demosunu üretim sistemine çevirir.
Karşılaştırmayı canlı tut
Üç ayda bir başlangıç değerini modelle taze örnekler üzerinde yeniden koş. Kayma yalnız model problemi değildir: kaynaklar değişir ve başlangıç değeri, modelin işini hâlâ hak edip etmediğinin kanaryandır.
Mini kontrol
2-3 soruluk isteğe bağlı öz kontrol. Yanıtlar cihazından çıkmaz, saklanmaz ve hiçbir değerlendirmeye sayılmaz.
Alıştırma
Kurgusal bir e-posta triyaj problemi için başlangıç değerini tanımlayın: aptal yaklaşım, ölçüt, varsayımsal başlangıç puanı ve LLM yaklaşımının ne zaman geçeceği kuralı.
Geçme kriterleri
Aptal başlangıç adlandırılmış ve ölçülebilir, gerekçeli tek bir iş ölçütü seçilmiş, geçilecek somut eşik ve açık bir yedek davranış bulunmalı.