FDE Foundations · Modül 5: Veri ve Entegrasyon
Sahada ETL Hatları
Saha ETL'sinin çoğu dönüşüm değil doğrulama ve karantinadır: kaynağın kendi şeması hakkında yalan söylediğini bekle, kırılanı atma park et.
11 dk okuma
Kazanımlar
- Dağınık kaynaklar için çıkar-dönüştür-yükle işini yapılandırmak
- Tam yeniden yükleme ile artımlı eşitleme arasında karar vermek
- Karantina yollu bir doğrulama aşaması tasarlamak
Çıkar: çeşitlilik bekle
Gerçek kaynaklar aynı varlığı birkaç biçimde teslim eder: üç fatura düzeni, iki tarih biçimi, adsız kolonlu tek bir eski dışa aktarım. Ham yükleri önce dokunmadan bir sahneye çıkar. Eşleme hatası ortaya çıktığında özgün yük hâlâ oradadır ve yeniden üretilebilir.
Dönüştür: çeviriden önce doğrula
Dönüşümden önce doğrulamayı koş: zorunlu alanlar mevcut, türler doğru, kimlikler çözülür, değerler beklenen aralıkta. Yalnızca doğrulanmış satırlar kurallı modele ilerler. Bu sıralama, dönüşüm kodunun asla çöp görmemesini sağlar; küçük ve test edilebilir kalır.
Yükle: eşitleme stratejisini bilinçli seç
Tam yeniden yüklemeler basit ve idempotenttir ama hacimde yavaştır. Artımlı eşitleme güvenilir bir değişiklik sinyali (updated-at, değişiklik günlüğü, webhook'lar) ve kaçan olayları yakalamak için mutabakat ister. Pragmatik varsayılan: artımlı, ek olarak her gece varlık başına adet ve sağlama toplamı farkı çıkaran tam mutabakat turu.
Karantina bir özelliktir
Doğrulamayı geçemeyen satırlar; yük, hata, kaynak ve deneme üstverisiyle karantina deposuna gider. Karantina raporu dahili ayrıntı değil teslimatın parçasıdır: dürüst hata raporu, müşterinin veri ekibinin seni ölçtüğü şeydir.
Mini kontrol
2-3 soruluk isteğe bağlı öz kontrol. Yanıtlar cihazından çıkmaz, saklanmaz ve hiçbir değerlendirmeye sayılmaz.
Alıştırma
E-posta eklerinden ve bir ERP dışa aktarımından tedarikçi faturaları yükleyen kurgusal bir ETL işi tasarlayın: sahneleme yaklaşımı, beş doğrulama kuralı, mutabakatlı eşitleme stratejisi ve karantina kayıt alanları.
Geçme kriterleri
Sahneleme ham yükleri tutmalı, beş somut doğrulama kuralı, mutabakat mekanizmalı adlandırılmış eşitleme stratejisi ve yeniden işlemeye yetecek karantina alanları bulunmalıdır.