Hadoop 설치

# 하둡 설치

0. 구성 : Master-Slave 구조

- [Master] hadoop01 : Namenode , Secondary Namenode

- [Slave] hadoop03 : Datanode

- [Slave] hadoop04 : Datanode

1. 준비사항

- JVM 에서 구동되는 프로세스 임으로 java 설치가 필요함

- 복수 대 설치 시 node 간 통신에 필요한 network 이 열려 있어야 함

- 방화벽 설정 off

- ./ssh/authorized_keys 등록 (명령어 전달에 필요)

2. 설치

- 다운로드 : http://hadoop.apache.org/releases.html ( 이후 문서는 2.4.1 환경으로 진행하였음 )

- 압축 풀기

- 설정파일 편집 ( /hadoop_압축해제경로/etc/hadoop/* )

- hdfs-site.xml : 복제본 개수 지정 (기본 : 원본 포함 3), 퍼미션 설정 등

- ASM authomatic storage management 대부분의 replica 는 3이다. (확률)

- hadoop-env.sh : 실행하기 전 실행되는 파일 , PATH 설정 및 heap memory 설정

- mapred-site.xml : yarn(클러스트에서 동작) or local(단일 쓰레드 동작)

- slaves : 개행을 구분자로 slave 목록을 지정한다

- yarn-env.sh : 자바 홈, 하둡 홈 설정

- masters : secondary namenode 를 개행을 구분자로 목록을 지정

- yarn-site.xml : ip, port 설정 8030 8040 etc ...

3. 동작

- start-all.sh

[hadoop@hadoop01 ~]$ start-all.sh  

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh   **>> 하둡 1.x 대 명령어 사용으로 나오는 메시지**  

Starting namenodes on [hadoop01] **>> 기동순서 1. Namenode**  

hadoop01: starting namenode, logging to /home/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-namenode-hadoop01.out  

hadoop04: starting datanode, logging to /home/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-hadoop04.out **>> 기동순서 2. Datanode**  

hadoop03: starting datanode, logging to /home/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-datanode-hadoop03.out **>> 기동순서 2. Datanode**  

Starting secondary namenodes [0.0.0.0] **>> 기동순서 3. Secondary Namenode**  

0.0.0.0: starting secondarynamenode, logging to /home/hadoop/hadoop-2.4.1/logs/hadoop-hadoop-secondarynamenode-hadoop01.out  

starting yarn daemons  

starting resourcemanager, logging to /home/hadoop/hadoop-2.4.1/logs/yarn-hadoop-resourcemanager-hadoop01.out  **>> 기동순서 4. Resorce Manager **  

hadoop03: starting nodemanager, logging to /home/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-hadoop03.out  

hadoop04: starting nodemanager, logging to /home/hadoop/hadoop-2.4.1/logs/yarn-hadoop-nodemanager-hadoop04.out  

- stop-all.sh : 기동순서의 역순으로 동작을 종료시킨다.

[hadoop@hadoop01 ~]$ stop-all.sh  

4. 동작 확인

- http://hadoop01:50070/dfshealth.html : overview , node 상태 확인 등

- > live node > heart bit : last contact : 2 이상 늘어나지 않는다 , 600 초 이상 연결 안될시 클러스터에서 빠지게 된다

- http://hadoop01:50070/explorer.html : 하둡 데이터 조회

- http://hadoop01:19888 : job 동작 히스토리 관리

- http://hadoop01:

- 프로세스 확인

- 마스터 [hadoop@hadoop01 ~]$ jps  

3830 ResourceManager : 마스터 운영시 필요 (클러스터의 리소스 관리 & Task Tracking : job의 생성-소멸까지 관리한다 >> slave 로 역할이 옮겨짐(2.0))  

4089 Jps  

3514 NameNode : 마스터 운영시 필요  

3696 SecondaryNameNode  

- 슬레이브 [hadoop@hadoop04 hadoop]$ jps  

2581 Jps  

2489 NodeManager  

5. hadoop 기본 명령어

- hadoop fs <-option> ... : hadoop 파일 시스템에 CRUD 동작

- hadoop dfsadmin <-option> : hdfs 에 노드 추가 삭제 관련한 동작

- hadoop jar JAR명 메인클래스 args ... : 생성한 mapreduce 동작 jar 의 실행