[Kafka]설 치

Kafka 로고

1. 권고 사항

1.1. 환경 구성 시 권고 사항

Kafka는 전송된 데이터를 모두 파일 시스템에 저장하고 대규모 데이터 통신이 일어나기 때문에 고성능의 하드웨어를 사용해야 한다. Kafka Cluster 운영 시 브로커의 하드웨어 권고사항은 아래와 같다.

종  류	권고 설정 값
메모리	32GB 머신에 힙 메모리 6GB로 설정. 나머지는 OS의 페이지 캐시 영역으로 활용
CPU	24core 머신 사용, 만약 SSL과 같은 보안 설정 사용할 경우 추가 더 높은 사양 필요
디스크	RAID 10으로 설정된 디스크 사용. NAS 사용은 권고하지 않음
파일시스템	XFS 또는 ext4

1.2. 오픈소스 Kafka를 직접 설치하여 운영하는 경우

종  류	개발용 Kafka Cluster	상용 환경 Kafka Cluster
브로커 개수	5개	10개
CPU	16core	24core
디스크	사용량에 따라 달라짐	사용량에 따라 달라짐
메모리	16GB(heap 6GB)	16GB(heap 6GB)

---

2. 설  치(Linux)

2.1. Kafka 다운로드

• Kafka 다운로드 주소 : https://kafka.apache.org/downloads
• 인터넷 가능 환경에서는 wget 명령어 활용. 그렇지 않다면 파일을 직접 다운 받아 서버에 직접 넣어줘야 한다.

Kafka 설치 홈페이지

2.2. 압축 해제

$ tar -zxvf kafka_2.12-3.7.0.tgz

2.3. 환경 변수 설정

본 글에서는 /sw/kafka가 계정 홈 디렉터리이다.

$ vi .bash_profile

#### Kafka ####
export KAFKA_HOME=/sw/kafka/kafka_2.12-3.7.0
export PATH="$PATH:$KAFKA_HOME/bin"

alias khome='cd $KAFKA_HOME'
alias kbin='cd $KAFKA_HOME/bin'
alias kcfg='cd $KAFKA_HOME/config'
alias klog='cd $KAFKA_HOME/logs'

2.4. Kafka 디렉터리 구조

Kafka 디렉터리 구조

---

3. 실  행

3.1. Zookeeper 서버 시작

Kafka를 시작하기 위해 Zookeeper 서버 기동

$ cd $KAFKA_HOME/bin        # Kafka의 bin 디렉터리로 이동
$ ./zookeeper-server-start.sh ../config/zookeeper.properties &   # BACKGROUND 기동

3.2. Kafka 서버 시작

Zookeeper 기동 후 Kafka 실행 

$ cd $KAFKA_HOME/bin             # Kafka의 bin 디렉터리로 이동
$ ./kafka-server-start.sh ../config/server.properties &         # BACKGROUND 기동

3.3.  Kafka 기동 확인

JDK에 포함된 JPS 명령어를 통해 실행 중인 프로세스 확인

$ jps
120659 Jps
119750 QuorumPeerMain        # Zookeeper
120174 Kafka       # Kafka Broker