NVIDIA 드라이버 & NVML 설치 # 권장 드라이버 자동 설치 (Ubuntu)sudo apt-get updatesudo apt-get install -y ubuntu-drivers-commonsudo ubuntu-drivers autoinstall# 설치 후 재부팅 필요할 수 있음sudo reboot# 재부팅후 확인nvidia-smi NVML/유틸 패키지 설치 sudo apt-get update# 다른 node와 동일 계열(예: 575)로 맞추는 게 가장 안전sudo apt-get install -y nvidia-utils-575 libnvidia-ml1# 확인which nvidia-sminvidia-smildconfig -p | grep -i nvidia-mlls -l /usr/lib/x86_64..

미리보기POST _transform/_preview{ "dest": { "index": "plant-daily-stats" }, "frequency": "15m", "sync": { "time": { "field": "@timestamp", "delay": "60s" } }, "description": "일 단위 통계 + 표준편차/결측률 (8.14 호환)", "source": { "index": ["plant-topic-*"], "runtime_mappings": { "temperature_sq": { "type": "double", "script": { "source": "if (doc.containsKey('temperature') && !do..

절차Kibana → Stack Management → Transforms기존 Transform (sensor_daily_stats_v1) 우측 … (Actions) 메뉴 → Clone 선택Clone 화면에서:Group by는 그대로 (sensor_id, @timestamp → day)Aggregations 단계에서 추가:Value count (데이터 건수)Avg + Std deviation (변동성)Top metrics → temp/humid asc/desc (첫값/마지막값)Destination index는 새 이름 (예: sensor-daily-stats-v2)Transform ID도 새로 (sensor_daily_stats_v2)Review → Create and startJSON 예시PUT _tra..

Kibana UI 절차Management → Stack Management → Security → Roles 이동Create role 클릭Index privileges:Indices: node_disk-* (패턴 지정)Privileges: write, create_index)저장Security → Users 이동Create userUsername / Password 입력위에서 만든 Role 선택저장 Kafka Consumer 쪽 설정 app: es: url: https://es-es-http.elastic.svc.cluster.local:9200 username: {계정} password: {비밀번호} 인덱싱 권한 실제 검증(간단 Bulk) curl -u '{계정:비밀번호}' \ -H..

application.yml app: sink: es: index: policy: ${ES_INDEX_POLICY:daily} # daily | monthly | static | format static-name: ${ES_INDEX_STATIC_NAME:plant-topic} format: ${ES_INDEX_FORMAT:yyyy.MM.dd} # ★ format 모드일 때 사용할 패턴 tz: ${ES_INDEX_TZ:UTC} # ★ 모든 모드 공통 사용 가능 (기본 UTC) IndexNameResolver 패치 package com.hys.kafka.es;impor..

전체 처음부터 재처리: 작동중인 아무 broker에서 실행해도 됨# 컨슈머 중지 후 실행kafka-consumer-groups.sh \ --bootstrap-server \ --group \ --topic [,...] \ --reset-offsets --to-earliest --execute 특정 시점부터 재처리 # 예: 2025-08-10 00:00(+09:00) 이후만 다시 읽기kafka-consumer-groups.sh \ --bootstrap-server \ --group \ --topic \ --reset-offsets --to-datetime 2025-08-10T00:00:00+09:00 --execute 범위/개수 기준으로 재처리# 최근 7일치만 다시 읽기kafka-c..