Kapacitor

1. 설치

   • OS별 설치가이드
   • Ubuntu 16.04 환경하 설치

   • $ wget https://dl.influxdata.com/kapacitor/releases/kapacitor_1.2.0_amd64.deb
     $ sudo dpkg -i kapacitor_1.2.0_amd64.deb
     

   • 실행:

     $ service kapacitor start
     $ service kapacitor stop
     

2. 설정

   • 설정파일: /etc/kapacitor/kapacitor.conf
   • influxdb 에 대한 설정

     [[influxdb]]
     # Connect to an InfluxDB cluster
     # Kapacitor can subscribe, query and write to this cluster.
     # Using InfluxDB is not required and can be disabled.
     enabled = true
     default = true
     name = "localhost"
     urls = ["http://localhost:8086"]
     username = ""
     password = ""
     timeout = 0
     

3. 스크립트 생성 / 등록 / 관리

   • 생성 sample:

     $ vi /home/influxdb/kapacitor_script/cpu_alert.tick
     stream
     // Select just the cpu measurement from our example database.
     |from()
       .measurement('cpu')
     |alert()
       .crit(lambda: "usage_idle" <  70)
       // Whenever we get an alert write it to a file.
       .log('/tmp/alerts.log')
     

   • 등록:

     $ kapacitor define  "cpu_alert"  -type "stream"  -tick /home/influxdb/kapacitor_script/cpu_alert.tick -dbrp telegraf.default
     

     • type 은 stream 과 batch
     • dbrp 는 database . retention policy
     • tick 은 사용하는 스크립트
   • 실행: $ kapacitor record stream -task cpu_alert -duration 20s
   • 조회: $ kapacitor list recordings
   • 
   • 
     

kafka 모니터링 도구

1. Kafka Offset Monitor (오픈소스 기반의 Web UI)

   • 홈페이지
   • 실행:

       $ java -cp KafkaOffsetMonitor-assembly-0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk zk-server1,zk-server2 --port 8080 --refresh 10.seconds --retain 2.days
     

   • 모니터링: http://설치호스트IP:설치포트
     • 
     • 
       
   • 모니터링 주요항목
     • Consumer 위주의 모니터링
     • topic 에 대한 모니터링
     • zookeeper 의 클러스터링
   • 한계(사견)
     • 시스템 항목에 대한 모니터링 항목의 부재
     • Producer 대응의 부재
     • active consumer list 호출 방식을 찾지 못했다..

2. Linkedin Kafka-monitor (오픈소스 기반의 Web UI)

   • 홈페이지
   • 실행:

       $ ./bin/single-cluster-monitor.sh --topic test --broker-list localhost:9092 --zookeeper localhost:2181
     

   • 모니터링: http://설치호스트IP:8000/index.html (default port 8000)
     • 
     • 
       
   • 모니터링 주요항목
     • Producer 위주의 모니터링
     • 저장된 record 에 대한 replica, partitioning, 지연 등 에 대한 모니터링
   • 한계(사견)
     • 시스템 항목에 대한 모니터링 항목의 부재
     • Consumer 대응의 부재

3. Datadog (상용서비스 Web UI)

   • 홈페이지
   • 동작:
     • 카프카 인스턴스에 개별 agent 설치
     • agent 가 datadog 으로 정보를 전달해주는 방식으로 위 두개의 open source 와 다르다
   • 모니터링:
     • 
     • 
       
   • 모니터링 주요항목
     • kafka.yaml 항목을 통한 대부분의 kafka 정보 처리 가능
     • metric 항목들 metric
   • 한계(사견)
     • 무료로 사용시, 카프카 모니터링 항목이 datadog 에 저장 된다
     • 제한적 환경에서는 많은 방화벽 이슈가 있을 수 있다

4. JMX 를 이용한 직접 모니터링

   • https://cwiki.apache.org/confluence/display/KAFKA/JMX+Reporters
   • jmxterm
     • jar 다운로드
     • 실행: java -jar jmxterm--uber.jar
     • jvms 를 호출하여 해당 id 획득
     • open {{id}}
     • beans 호출을 통해 원하는 모니터링 항목의 metrics 획득

※ jmx 를 이용한 직접 모니터링이 가장 좋은 방식으로 생각되었지만 jar 호출과 명령어 호출에 사용되는 시스템 리소스가 있으므로 잘 판단하여 사용해야 할 것 같다

telegraf: 메트릭을 수집하고 보고하는 플러그인 기반 서버 에이전트

1. 설치 (ubuntu 16.04 환경)

     $ wget http://get.influxdb.org/telegraf/telegraf_0.1.1_amd64.deb
     $ sudo dpkg -i telegraf_0.1.1_amd64.deb
   

2. 설정

   • 설정파일 확인:

       $ cat /etc/telegraf/telegraf.conf
     

   • 설정파일의 영역별 관리
     • agent

         [agent]
          interval = "1s" # 데이터 수집 주기
          flush_interval = "5s" # 데이터 전송 주기
       

     • output plugin
       • 로컬 influxdb 로 저장하도록 되어 있다
       • 호출은 http 통신으로 처리한다

         [[outputs.influxdb]]
         urls = ["http://influxdb01:8086"] # required
         database = "cpu_short_load" # required
         retention_policy = "default" # infinite duration
         write_consistency = "any"
         

     • input plugin
       • 기본 system information 에 대한 처리는 되게 셋팅되어 있다
         • cpu
         • cpu_load_short
         • disk
         • diskio
         • kernel
         • mem
         • processes
         • swap
         • system

3. 실행 및 확인

   • 실행: sudo service telegraf start
   • 서비스 확인: ps -ef | grep telegraf
   • data insert 확인(influxDB 정보 확인)
   • 
   •