Kubernetes 노드 점검 직후 재부팅: busybox exec format error와 원인 분리

운영 중 특정 노드에서 디스크 점검 직후 재부팅이 발생했다.처음에는 점검 명령이 원인처럼 보였지만, 실제로는 debug image 문제가능성이 있었다.👉 Node 재부팅이 발생했을 때는 "명령 때문인지, 환경 때문인지" 먼저분리하는 것이 중요하다.1. 증상Warning Rebooted 발생NodeReady 재진입동일 노드 pod 재시작2. 정상 reboot 여부 확인정상 reboot라면 systemd-shutdown 로그가 남는다.하지만 이번에는 로그가 끊겨 있었다.👉 정상 reboot 아님 가능성3. busybox debug 실패kubectl debug node/{=html} --image=busybox:1.36결과:exec format error👉 exec format error는 보통 아키텍처..

오늘은 Grafana에서 Metricbeat 데이터를 기반으로 CPU/Memory/Disk 대시보드를 만들고, 실제 서버의 df 결과와 디스크 사용량이 다른 문제를 해결한 과정을 정리한다.핵심은 Metricbeat의 hostfs 경로(/hostfs)와 집계 함수(avg)로 인한 왜곡, 그리고 호스트 식별 필드(host.name) 추가였다.1. 호스트 식별 필드(host.name) 추가Kibana에서 확인했을 때 host.name이 들어오지 않아 서버별 구분이 어려웠다.그래서 Metricbeat DaemonSet에 spec.nodeName을 받아 host.name으로 강제 세팅했다.추가한 설정metricbeat.yml에 필드 추가:processors:- add_host_metadata: ~- add_clo..

# 기본grep -r "찾을문자" /path/to/dir# 줄 번호까지 보기grep -rn "찾을문자" /path/to/dir# 대소문자 구분 없이 찾기grep -ri "찾을문자" /path/to/dir# 특정 확장자만 검색하기 (예: .py 파일만)grep -rn --include="*.py" "찾을문자" /path/to/dir# 결과에 파일명만 출력하기grep -rl "찾을문자" /path/to/dir

# config.shimage=testtag=1# build.shsource ./config.sh

# systemd-resolved 재활성화sudo systemctl enable --now systemd-resolved# /etc/systemd/resolved.conf 전역 DNS 고정sudo sh -c 'cat >/etc/systemd/resolved.conf 적용 안될때 조치# 내 서버가 무엇으로 네트워킹 관리하는지 확인# 250823_1networkctl status eno1 | sed -n '1,20p'systemctl is-active NetworkManager && echo "NM=ON" || echo "NM=OFF"# Networked by: NetworkManager → 방법 B# Networked by: systemd-networkd(또는 Netplan) → 방법 A# 방법 A# 해당..

# 수동 마운트sudo mount /dev/sdb1 /mnt/data# 확인ls /mnt/data# 자동 마운트sudo blkid /dev/sdb1# 출력 예/dev/sdb1: UUID="1234-ABCD" TYPE="ext4"sudo vi /etc/fstab# 맨 마지막줄에--------------------UUID=1234-ABCD /mnt/data ext4 defaults 0 2--------------------# 적용 테스트# 에러 없으면 성공sudo mount -a