application.yml app: sink: es: index: policy: ${ES_INDEX_POLICY:daily} # daily | monthly | static | format static-name: ${ES_INDEX_STATIC_NAME:plant-topic} format: ${ES_INDEX_FORMAT:yyyy.MM.dd} # ★ format 모드일 때 사용할 패턴 tz: ${ES_INDEX_TZ:UTC} # ★ 모든 모드 공통 사용 가능 (기본 UTC) IndexNameResolver 패치 package com.hys.kafka.es;impor..

전체 처음부터 재처리: 작동중인 아무 broker에서 실행해도 됨# 컨슈머 중지 후 실행kafka-consumer-groups.sh \ --bootstrap-server \ --group \ --topic [,...] \ --reset-offsets --to-earliest --execute 특정 시점부터 재처리 # 예: 2025-08-10 00:00(+09:00) 이후만 다시 읽기kafka-consumer-groups.sh \ --bootstrap-server \ --group \ --topic \ --reset-offsets --to-datetime 2025-08-10T00:00:00+09:00 --execute 범위/개수 기준으로 재처리# 최근 7일치만 다시 읽기kafka-c..

문제점: long 타입으로 데이터를 전달해서 elasticsearch에서 시간을 인식하지 못함/** ES 문서 래핑: @timestamp, _index 추가 */private Map wrap(String topic, long ts, Map body) { Map doc = new HashMap(body); doc.put("@timestamp", ts); doc.put("_index", IndexNameResolver.resolve(topic, ts, indexPolicy, staticIndex)); return doc;}조치: ISO8601 문자열로 변환해서 전송/** ES 문서 래핑: @timestamp를 ISO 문자열로 */private Map wrap(String topic, l..

단일 사용자envs: config: AUTH_TYPE: "LOGIN_FORM" SPRING_SECURITY_USER_NAME: "{계정}" SPRING_SECURITY_USER_PASSWORD: "{비밀번호}"여러 사용자envs: config: AUTH_TYPE: "LOGIN_FORM" KAFKA_UI_LOGIN_FORM_USERS_0_USERNAME: "{계정}" KAFKA_UI_LOGIN_FORM_USERS_0_PASSWORD: "{비밀번호}" KAFKA_UI_LOGIN_FORM_USERS_0_ROLE: "ADMIN"

상황: helm chart를 사용했는데, 계속 cluster가 잡히지 않음명령어: 작동안함helm upgrade --install kafka-ui kafka-ui/kafka-ui \ --namespace kafka \ --set kafka.clusters[0].name=kraft-cluster \ --set kafka.clusters[0].bootstrapServers=kafka-kraft-controller-headless.kafka.svc.cluster.local:9092 \ --set kafka.clusters[0].properties.auto.create.topics.enable=true # 확인: pod 안에서 수행 # 위에 설정한 내용이 출력되지 않음printenv | grep K..

helm chart 설정helm repo add bitnami https://charts.bitnami.com/bitnamihelm repo updatepv 생성: 기본 3개# nfs가 구성되어 있어야 함# kafka가 1001:1001로 작동하기 때문에 nfs는 이 계정으로 만들어야 함apiVersion: v1kind: PersistentVolumemetadata: name: kafka-pv-controller-0spec: capacity: storage: 10Gi accessModes: - ReadWriteOnce storageClassName: kafka-nfs persistentVolumeReclaimPolicy: Retain nfs: server: {IP} pat..