Düğümleri, Ağ Arızalarını ve Dolu Diskleri Kurtarmak

Neden önemli

Düğüm baskısı ayrım yapmadan öldürür: DiskBaskısı çıkarır, BellekBaskısı aç bırakır, PIDBaskısı yeni süreçleri boğar. Dolu diskler imaj çekmeleri de engeller; depolama arızasını kayıt arızası gibi gizler. Sınav bunları kümeler; çünkü tek kanıtlama alanı paylaşırlar: düğüm durumları artı exec düzeyi sınamalar.

Kavramlar

kubectl describe node Durumlar artı Ayrılmış kaynaklar hikâyeyi anlatır: Ajan kapalı ile Hazır Yanlış kubelet çöktü demektir; DiskBaskısı veya BellekBaskısı Doğru darlığı adlandırır; PIDBaskısı Doğru süreç oluşturmayı sınırlar. kubectl top node metrics-server koşarken canlı kullanımı sayar. Dolu düğümler (milyonlarca minik dosya, kaçak loglar) df -h sağlıklı görünürken df -i doldurur: hep ikisine de bak.

Boşaltma sırası: önce kanıtı kopyala (ölüm sonrası için gereken loglar), sonra imajları buda (crictl rmi --prune veya kubelet çöp toplama), logları döndür, ondan sonra veriyi sil. Kopyalamadan temizleme: yok edilen kanıt soruşturmaları bitirir.

Ağ katmana bölünür: tek düğümde poddan poda (CNI artı kubelet), düğümler arası poddan poda (doku artı kube-proxy), poddan dışarı (çıkış artı DNS). Aynı düğüm başarısı artı düğümler arası arıza dokuyu suçlar; tek düğümde tüm pod arızası düğümü suçlar; tek pod arızası podu suçlar. İki komut (aynı düğüm curl, düğümler arası curl) her arızayı yerleştirir.

Uygulamalı örnek

worker-2 düğümü HazırDeğil, podlar gizemli, sırayla sondaj:

kubectl describe node worker-2 | grep -A8 Conditions
# DiskPressure Doğru, /var/log üzerinde düğüm tükenmiş
kubectl debug node/worker-2 -it --image=busybox -- df -i /host/var/log
# düğüm %100: küçük satırlı megabayt log yazan bir kapsayıcı
# önce kanıt, sonra boşaltma
kubectl logs -l app=noisy --since=2h > /tmp/noisy.log
# döndür artı buda, sonra durumun temizlendiğini izle
kubectl uncordon worker-2   # Hazır Doğru döndükten sonra
kubectl get pods -o wide | grep worker-2   # iş yükleri yeniden iner

Onarımda kordonlamak zamanlayıcının hasta düğümü yeniden doldurmasını engeller; kordonu yalnız durumlar temizlenip doğrulandıktan sonra aç, umutla değil.

Sınav notları

Düğüm tükenmesi sağlıklı görünen disk yüzdeleri ardında gizlenir: df -h ile df -i hep eşleştir. Durmuş kubelet o düğümün podlarında exec ve logları da düşürür: düğüm düzeyi ayıklama veya SSH kullan. Ve kordon boşaltma değildir: kordonlu düğümler çalışan podları tutar; güvenli onarım duruşu budur.