InfluxData Platform for Time Series Data

원문

1. 소개

   • InfluxData Platform은 오픈 소스 TICK 스택을 기반으로 합니다
   • TICK 스택의 각 구성 요소는 오픈 소스이며 MIT 라이센스에 따라 사용할 수 있습니다
   • TICK는 InfluxData 플랫폼을 구성하는 4 개의 오픈 소스 프로젝트를 설명하는 간단한 방법 일뿐입니다

     T = Telegraf는 메트릭을 수집하고 보고하는 플러그인 기반 서버 에이전트
     I = InfluxDB는 높은 쓰기 및 쿼리로드를 처리하기 위해 빌드 된 시계열 데이터 베이스
     C = Chronograf는 데이터의 임시 탐색을 수행하기위한 그래프 및 시각화 응용 프로그램
     K = Kapacitor는 경고, 이상 탐지 및 조치 프레임 워크를 입증하는 데이터 처리 프레임 워크

2. Telegraf: Time Series Data Collection

   • 메트릭을 수집하고 보고하는 플러그인 기반 서버 에이전트
   • 데이터 수집
     • 실행중인 시스템에서 직접 다양한 메트릭을 수집
     • 제 3자 API에서 메트릭을 수집
     • statsd 및 Kafka 등 플러그인 또는 통합 기능을 제공
   • 데이터 출력
     • InfluxDB, Graphite, OpenTSDB, Datadog, Librato, Kafka, MQTT, NSQ 및 기타 여러 데이터 스토어
     • 서비스 및 메시지 대기열에 메트릭을 전송

3. InfluxDB: Time Series Database

   • 높은 쓰기 및 쿼리로드를 처리하기 위해 빌드 된 시계열 데이터 베이스
   • 시계열 데이터를 위해 특별히 작성된 사용자 지정 고성능 데이터 스토어
   • 사용 용도의 예시:
     • DevOps 모니터링
     • 응용 프로그램 메트릭
     • IoT 센서 데이터 및 실시간 분석 등

4. Chronograf — Time Series Data Visualizer

   • 데이터의 임시 탐색을 수행하는 데 사용하는 그래프 및 시각화 응용 프로그램
   • 사용하기 쉽고 템플릿과 라이브러리가 포함되어 있어 실시간 대시 보드 및 데이터 시각화를 신속하게 구축이 가능

5. Kapacitor – Alerting and Actions

   • 원시 데이터 처리 엔진
   • InfluxDB 에서 스트림 및 배치 데이터를 모두 처리 가능
   • 동작의 예시
     • 동적 임계 값으로 경고를 처리
     • 패턴에 대한 메트릭을 일치 시키며 통계적 이상을 계산
     • 동적로드 재조정
   • HipChat, OpsGenie, Alerta, Sensu, PagerDuty, Slack 등과 통합 가능하다

influxdb

---

설명

1. influxdb 란
   • Time-series DB: 시계열 데이터를 저장하고 활용하는데에 특화된 database
   • 용도: (timestamp 기반의 모든 데이터의 백업 저장소로 용이함)
     • DevOps 모니터링
     • 응용 프로그램 메트릭
     • IoT 센서 데이터 및 실시간 분석

2. 특징

   • 시계열 데이터를 위해 특별히 작성된 사용자 정의 고성능 데이터 스토어 TSM 엔진
     • 높은 수신 속도 및 데이터 압축을 허용
   • 전체적으로 Go 로 작성. 외부 종속성없이 단일 바이너리로 컴파일
   • 간단하고 고성능의 HTTP (S) API 작성 및 쿼리
   • 다양한 플러그인 제공 (다른 데이터 수집 프로토콜을 지원)
     • Graphite
     • collectd
     • OpenTSDB
   • 집계 된 데이터를 쉽게 쿼리 할 수 있도록 맞춤 설정된 표현형 SQL과 유사한 쿼리 언어
   • 태그를 사용하면 빠르고 효율적인 쿼리를 위해 시리즈를 인덱싱 함
   • 보존 정책은 유효하지 않은 데이터를 자동으로 만료
   • 연속 쿼리는 자동으로 집계 데이터를 계산하여 쿼리 빈도를 높임
   • 웹 관리 인터페이스가 내장

3. 샘플 데이터

   • 
   • census: measurement 라고 하며 sql 의 테이블에 해당한다
   • time 열: 모든 데이터에 기본으로 포함되는 값
   • location, scientist 열: 태그 키
     • Option 키 이다
     • 데이터 구조에는 태그가있을 필요가 없지만 필드와 달리 태그가 인덱싱 된다
     • == 즉, 태그에 대한 쿼리가 빠르며 태그는 일반적으로 쿼리되는 메타 데이터를 저장하는 데 이상적이다
   • butterflies, honeybees 열: 필드 키

kafka 설치 및 설정

---

1. 참고

2. 다운로드 및 압축 해제

   • $ wget “http://apache.tt.co.kr/kafka/0.10.1.0/kafka_2.11-0.10.1.0.tgz“
   • $ tar -xzf kafka_2.11-0.10.1.0.tgz

3. multi broker cluster 설정 및 실행

   • zookeeper.properties

       clientPort=2180   # default
       dataDir=/kafka/zookeeper/data # myid 라는 파일을 생성해주는 경로가 된다 broker.id 값을 입력해야한다
     
       # add here more servers if you want
       # server.1=kafka01:2888:3888
       server.1=0.0.0.0:2888:3888 # 본인 에 대해서는 0.0.0.0 으로 해줘야 한다
       server.2=kafka02:2888:3888
       server.3=kafka03:2888:3888
     
       # 필요하다 근데 왜? 
       initLimit=5
       syncLimit=2
     

   • server.properties

       broker.id=1       # 반드시 0 번 부터 시작할 필요는 없다
       port=9092
       host.name=kafka01 # 각자 본인 host 입력
       num.partitions=3
       zookeeper.connect=kafka01:2180,kafka02:2180,kafka03:2180
     

   • 실행

       # zookeeper 실행
       $ cd $KAFKA_HOME
       $ bin/zookeeper-server-start config/zookeeper.properties &
     
       # kafka 실행
       $ cd $KAFKA_HOME
       $ bin/kafka-server-start.sh config/server.properties &
     

4. topic 생성과 확인

   • 생성

       $ cd $KAFKA_HOME/bin
       $ ./kafka-topics.sh --create --zookeeper kafka01:2181 --replication-factor 3 --partitions 3 --topic {topic_name}
     

     

     
     

   • 리스트

       $ cd $KAFKA_HOME/bin
       $ ./kafka-topics.sh --list --zookeeper kafka01:2181
     

     

   • 확인

       $ cd $KAFKA_HOME/bin
       $ ./kafka-topics.sh --describe --zookeeper kafka01:2181 --topic {topic_name}