kafka 모니터링 도구
Kafka Offset Monitor (오픈소스 기반의 Web UI)
- 홈페이지
- 실행:
$ java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk zk-server1,zk-server2 --port 8080 --refresh 10.seconds --retain 2.days
- 모니터링: http://설치호스트IP:설치포트
- 모니터링 주요항목
- Consumer 위주의 모니터링
- topic 에 대한 모니터링
- zookeeper 의 클러스터링
- 한계(사견)
- 시스템 항목에 대한 모니터링 항목의 부재
- Producer 대응의 부재
- active consumer list 호출 방식을 찾지 못했다..
Linkedin Kafka-monitor (오픈소스 기반의 Web UI)
- 홈페이지
- 실행:
$ ./bin/single-cluster-monitor.sh --topic test --broker-list localhost:9092 --zookeeper localhost:2181
- 모니터링: http://설치호스트IP:8000/index.html (default port 8000)
- 모니터링 주요항목
- Producer 위주의 모니터링
- 저장된 record 에 대한 replica, partitioning, 지연 등 에 대한 모니터링
- 한계(사견)
- 시스템 항목에 대한 모니터링 항목의 부재
- Consumer 대응의 부재
Datadog (상용서비스 Web UI)
JMX 를 이용한 직접 모니터링
- https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters
- jmxterm
- jar 다운로드
- 실행: java -jar jmxterm-
-uber.jar - jvms 를 호출하여 해당 id 획득
- open {{id}}
- beans 호출을 통해 원하는 모니터링 항목의 metrics 획득
※ jmx 를 이용한 직접 모니터링이 가장 좋은 방식으로 생각되었지만 jar 호출과 명령어 호출에 사용되는 시스템 리소스가 있으므로 잘 판단하여 사용해야 할 것 같다
'BigData > Kafka' 카테고리의 다른 글
kafka 동작에 필요한 명령어 (0) | 2017.05.29 |
---|---|
Kafka Multi Cluster broker 구성하기 (0) | 2017.02.22 |
Kafka 소개 (0) | 2017.02.16 |