Kapacitor

1. 설치

   • OS별 설치가이드
   • Ubuntu 16.04 환경하 설치

   • $ wget https://dl.influxdata.com/kapacitor/releases/kapacitor_1.2.0_amd64.deb
     $ sudo dpkg -i kapacitor_1.2.0_amd64.deb
     

   • 실행:

     $ service kapacitor start
     $ service kapacitor stop
     

2. 설정

   • 설정파일: /etc/kapacitor/kapacitor.conf
   • influxdb 에 대한 설정

     [[influxdb]]
     # Connect to an InfluxDB cluster
     # Kapacitor can subscribe, query and write to this cluster.
     # Using InfluxDB is not required and can be disabled.
     enabled = true
     default = true
     name = "localhost"
     urls = ["http://localhost:8086"]
     username = ""
     password = ""
     timeout = 0
     

3. 스크립트 생성 / 등록 / 관리

   • 생성 sample:

     $ vi /home/influxdb/kapacitor_script/cpu_alert.tick
     stream
     // Select just the cpu measurement from our example database.
     |from()
       .measurement('cpu')
     |alert()
       .crit(lambda: "usage_idle" <  70)
       // Whenever we get an alert write it to a file.
       .log('/tmp/alerts.log')
     

   • 등록:

     $ kapacitor define  "cpu_alert"  -type "stream"  -tick /home/influxdb/kapacitor_script/cpu_alert.tick -dbrp telegraf.default
     

     • type 은 stream 과 batch
     • dbrp 는 database . retention policy
     • tick 은 사용하는 스크립트
   • 실행: $ kapacitor record stream -task cpu_alert -duration 20s
   • 조회: $ kapacitor list recordings
   • 
   • 
     

telegraf: 메트릭을 수집하고 보고하는 플러그인 기반 서버 에이전트

1. 설치 (ubuntu 16.04 환경)

     $ wget http://get.influxdb.org/telegraf/telegraf_0.1.1_amd64.deb
     $ sudo dpkg -i telegraf_0.1.1_amd64.deb
   

2. 설정

   • 설정파일 확인:

       $ cat /etc/telegraf/telegraf.conf
     

   • 설정파일의 영역별 관리
     • agent

         [agent]
          interval = "1s" # 데이터 수집 주기
          flush_interval = "5s" # 데이터 전송 주기
       

     • output plugin
       • 로컬 influxdb 로 저장하도록 되어 있다
       • 호출은 http 통신으로 처리한다

         [[outputs.influxdb]]
         urls = ["http://influxdb01:8086"] # required
         database = "cpu_short_load" # required
         retention_policy = "default" # infinite duration
         write_consistency = "any"
         

     • input plugin
       • 기본 system information 에 대한 처리는 되게 셋팅되어 있다
         • cpu
         • cpu_load_short
         • disk
         • diskio
         • kernel
         • mem
         • processes
         • swap
         • system

3. 실행 및 확인

   • 실행: sudo service telegraf start
   • 서비스 확인: ps -ef | grep telegraf
   • data insert 확인(influxDB 정보 확인)
   • 
   • 
     

InfluxData Platform for Time Series Data

원문

1. 소개

   • InfluxData Platform은 오픈 소스 TICK 스택을 기반으로 합니다
   • TICK 스택의 각 구성 요소는 오픈 소스이며 MIT 라이센스에 따라 사용할 수 있습니다
   • TICK는 InfluxData 플랫폼을 구성하는 4 개의 오픈 소스 프로젝트를 설명하는 간단한 방법 일뿐입니다

     T = Telegraf는 메트릭을 수집하고 보고하는 플러그인 기반 서버 에이전트
     I = InfluxDB는 높은 쓰기 및 쿼리로드를 처리하기 위해 빌드 된 시계열 데이터 베이스
     C = Chronograf는 데이터의 임시 탐색을 수행하기위한 그래프 및 시각화 응용 프로그램
     K = Kapacitor는 경고, 이상 탐지 및 조치 프레임 워크를 입증하는 데이터 처리 프레임 워크

2. Telegraf: Time Series Data Collection

   • 메트릭을 수집하고 보고하는 플러그인 기반 서버 에이전트
   • 데이터 수집
     • 실행중인 시스템에서 직접 다양한 메트릭을 수집
     • 제 3자 API에서 메트릭을 수집
     • statsd 및 Kafka 등 플러그인 또는 통합 기능을 제공
   • 데이터 출력
     • InfluxDB, Graphite, OpenTSDB, Datadog, Librato, Kafka, MQTT, NSQ 및 기타 여러 데이터 스토어
     • 서비스 및 메시지 대기열에 메트릭을 전송

3. InfluxDB: Time Series Database

   • 높은 쓰기 및 쿼리로드를 처리하기 위해 빌드 된 시계열 데이터 베이스
   • 시계열 데이터를 위해 특별히 작성된 사용자 지정 고성능 데이터 스토어
   • 사용 용도의 예시:
     • DevOps 모니터링
     • 응용 프로그램 메트릭
     • IoT 센서 데이터 및 실시간 분석 등

4. Chronograf — Time Series Data Visualizer

   • 데이터의 임시 탐색을 수행하는 데 사용하는 그래프 및 시각화 응용 프로그램
   • 사용하기 쉽고 템플릿과 라이브러리가 포함되어 있어 실시간 대시 보드 및 데이터 시각화를 신속하게 구축이 가능

5. Kapacitor – Alerting and Actions

   • 원시 데이터 처리 엔진
   • InfluxDB 에서 스트림 및 배치 데이터를 모두 처리 가능
   • 동작의 예시
     • 동적 임계 값으로 경고를 처리
     • 패턴에 대한 메트릭을 일치 시키며 통계적 이상을 계산
     • 동적로드 재조정
   • HipChat, OpsGenie, Alerta, Sensu, PagerDuty, Slack 등과 통합 가능하다

influxdb

---

설명

1. influxdb 란
   • Time-series DB: 시계열 데이터를 저장하고 활용하는데에 특화된 database
   • 용도: (timestamp 기반의 모든 데이터의 백업 저장소로 용이함)
     • DevOps 모니터링
     • 응용 프로그램 메트릭
     • IoT 센서 데이터 및 실시간 분석

2. 특징

   • 시계열 데이터를 위해 특별히 작성된 사용자 정의 고성능 데이터 스토어 TSM 엔진
     • 높은 수신 속도 및 데이터 압축을 허용
   • 전체적으로 Go 로 작성. 외부 종속성없이 단일 바이너리로 컴파일
   • 간단하고 고성능의 HTTP (S) API 작성 및 쿼리
   • 다양한 플러그인 제공 (다른 데이터 수집 프로토콜을 지원)
     • Graphite
     • collectd
     • OpenTSDB
   • 집계 된 데이터를 쉽게 쿼리 할 수 있도록 맞춤 설정된 표현형 SQL과 유사한 쿼리 언어
   • 태그를 사용하면 빠르고 효율적인 쿼리를 위해 시리즈를 인덱싱 함
   • 보존 정책은 유효하지 않은 데이터를 자동으로 만료
   • 연속 쿼리는 자동으로 집계 데이터를 계산하여 쿼리 빈도를 높임
   • 웹 관리 인터페이스가 내장

3. 샘플 데이터

   • 
   • census: measurement 라고 하며 sql 의 테이블에 해당한다
   • time 열: 모든 데이터에 기본으로 포함되는 값
   • location, scientist 열: 태그 키
     • Option 키 이다
     • 데이터 구조에는 태그가있을 필요가 없지만 필드와 달리 태그가 인덱싱 된다
     • == 즉, 태그에 대한 쿼리가 빠르며 태그는 일반적으로 쿼리되는 메타 데이터를 저장하는 데 이상적이다
   • butterflies, honeybees 열: 필드 키