Sorunları erken yakalayan veri kalite kontrolleri
Güncelleme
Beş kontrol ailesi, karantina disiplini ve kirli verinin yanlış karara dönüşmesini önleyen haftalık rapor.
Kötü veri nadiren kendini duyurur. Aşağıdaki kontroller gerekçesiyle sizin için duyurur.
Kısa yanıt
Girişte beş kontrol ailesi, gerekçeli karantina, haftalık eğilim raporu ve tarihli kural değişiklikleri. Kirli veri sürpriz değil yönetilen kuyruk olur.
Beş aile
| Aile | Örnek kural | İzlenecek eğilim |
|---|---|---|
| Benzersizlik | Sipariş kimliği artı sürüm başına tek satır | Kaynak bazında tekrar oranı |
| Bütünlük | Tanımlayıcı ve zaman damgası var | Akış bazında eksik alan oranı |
| Aralık | Tarihler makul, kodlar tanınır | Haftalık aralık dışı payı |
| İlişkisellik | Her satırın üst siparişi var | Birleşim sonrası öksüz oranı |
| Güncellik | Akış pencere içinde geldi | Kaynak başına geç gelenler |
Çalışılmış örnek: konuşmayı değiştiren rapor
Kurgusal operasyon ekibi (kurgusal) aylarda veri kalitesini tartışır. FDE beş kontrolü tek sayfalık haftalık raporla çıkarır: kaynak bazında karantina payı, ilk üç neden, en eski sahipsiz kırık. Üçüncü hafta bir akışın düşmelerin yüzde 80'ine neden olduğu görülür; kaynak ekip dışa aktarımını düzeltir. Ölçümün başladığı yerde tartışma biter. ETL demo yazısı demo sürümünü gösterir; sunum yazısı raporun yerini nasıl kazandığını gösterir.
Kontrol listesi: kalite disiplini
- Kontroller yüklemeden önce koşar, tek alternatif yol karantinadır.
- Her kuralın yazılı sahibi ve eşiği var.
- Haftalık eğilim raporu, tek sayfa, müşteriyle incelemeli.
- Kural değişiklikleri tarih ve gerekçe taşır.
İlgili okuma
Net yanıtlar
Sık sorulan sorular
Hangi kontroller en önemli?
Benzersizlik, bütünlük, aralık, ilişkisellik ve güncellik. Beş aile müşteri veri kırıklarının çoğunu kararlara ulaşmadan yakalar.
Kontroller nerede koşmalı?
Girişte, yüklemeden önce: yığını doğrulayın, kırıkları gerekçeli karantinaya alın, yalnız geçenleri yükleyin. Yükleme sonrası kontroller kapı değil denetimdir.
Uyarı yorgunluğu nasıl önlenir?
Kontrol başına sahipli eşikler, karantina eğilimlerinin haftalık incelemesi, yalnız tarihli notla değişen kurallar. Gürültülü kontroller ayarlanır ya kesilir.