Kafka Multi Cluster broker 구성하기

kafka 설치 및 설정

---

1. 참고

2. 다운로드 및 압축 해제

   • $ wget “http://apache.tt.co.kr/kafka/0.10.1.0/kafka_2.11-0.10.1.0.tgz“
   • $ tar -xzf kafka_2.11-0.10.1.0.tgz

3. multi broker cluster 설정 및 실행

   • zookeeper.properties

       clientPort=2180   # default
       dataDir=/kafka/zookeeper/data # myid 라는 파일을 생성해주는 경로가 된다 broker.id 값을 입력해야한다
     
       # add here more servers if you want
       # server.1=kafka01:2888:3888
       server.1=0.0.0.0:2888:3888 # 본인 에 대해서는 0.0.0.0 으로 해줘야 한다
       server.2=kafka02:2888:3888
       server.3=kafka03:2888:3888
     
       # 필요하다 근데 왜? 
       initLimit=5
       syncLimit=2
     

   • server.properties

       broker.id=1       # 반드시 0 번 부터 시작할 필요는 없다
       port=9092
       host.name=kafka01 # 각자 본인 host 입력
       num.partitions=3
       zookeeper.connect=kafka01:2180,kafka02:2180,kafka03:2180
     

   • 실행

       # zookeeper 실행
       $ cd $KAFKA_HOME
       $ bin/zookeeper-server-start config/zookeeper.properties &
     
       # kafka 실행
       $ cd $KAFKA_HOME
       $ bin/kafka-server-start.sh config/server.properties &
     

4. topic 생성과 확인

   • 생성

       $ cd $KAFKA_HOME/bin
       $ ./kafka-topics.sh --create --zookeeper kafka01:2181 --replication-factor 3 --partitions 3 --topic {topic_name}
     

     

     
     

   • 리스트

       $ cd $KAFKA_HOME/bin
       $ ./kafka-topics.sh --list --zookeeper kafka01:2181
     

     

   • 확인

       $ cd $KAFKA_HOME/bin
       $ ./kafka-topics.sh --describe --zookeeper kafka01:2181 --topic {topic_name}