목차
728x90

1. 권고 사항
1.1. 환경 구성 시 권고 사항
Kafka는 전송된 데이터를 모두 파일 시스템에 저장하고 대규모 데이터 통신이 일어나기 때문에 고성능의 하드웨어를 사용해야 한다. Kafka Cluster 운영 시 브로커의 하드웨어 권고사항은 아래와 같다.
종 류 | 권고 설정 값 |
메모리 | 32GB 머신에 힙 메모리 6GB로 설정. 나머지는 OS의 페이지 캐시 영역으로 활용 |
CPU | 24core 머신 사용, 만약 SSL과 같은 보안 설정 사용할 경우 추가 더 높은 사양 필요 |
디스크 | RAID 10으로 설정된 디스크 사용. NAS 사용은 권고하지 않음 |
파일시스템 | XFS 또는 ext4 |
1.2. 오픈소스 Kafka를 직접 설치하여 운영하는 경우
종 류 | 개발용 Kafka Cluster | 상용 환경 Kafka Cluster |
브로커 개수 | 5개 | 10개 |
CPU | 16core | 24core |
디스크 | 사용량에 따라 달라짐 | 사용량에 따라 달라짐 |
메모리 | 16GB(heap 6GB) | 16GB(heap 6GB) |
2. 설 치(Linux)
2.1. Kafka 다운로드
- Kafka 다운로드 주소 : https://kafka.apache.org/downloads
- 인터넷 가능 환경에서는 wget 명령어 활용. 그렇지 않다면 파일을 직접 다운 받아 서버에 직접 넣어줘야 한다.

2.2. 압축 해제
$ tar -zxvf kafka_2.12-3.7.0.tgz
2.3. 환경 변수 설정
본 글에서는 /sw/kafka가 계정 홈 디렉터리이다.
$ vi .bash_profile
#### Kafka ####
export KAFKA_HOME=/sw/kafka/kafka_2.12-3.7.0
export PATH="$PATH:$KAFKA_HOME/bin"
alias khome='cd $KAFKA_HOME'
alias kbin='cd $KAFKA_HOME/bin'
alias kcfg='cd $KAFKA_HOME/config'
alias klog='cd $KAFKA_HOME/logs'
2.4. Kafka 디렉터리 구조

3. 실 행
3.1. Zookeeper 서버 시작
Kafka를 시작하기 위해 Zookeeper 서버 기동
$ cd $KAFKA_HOME/bin # Kafka의 bin 디렉터리로 이동
$ ./zookeeper-server-start.sh ../config/zookeeper.properties & # BACKGROUND 기동
3.2. Kafka 서버 시작
Zookeeper 기동 후 Kafka 실행
$ cd $KAFKA_HOME/bin # Kafka의 bin 디렉터리로 이동
$ ./kafka-server-start.sh ../config/server.properties & # BACKGROUND 기동
3.3. Kafka 기동 확인
JDK에 포함된 JPS 명령어를 통해 실행 중인 프로세스 확인
$ jps
120659 Jps
119750 QuorumPeerMain # Zookeeper
120174 Kafka # Kafka Broker
728x90
'Message Queue > Kafka' 카테고리의 다른 글
[Kafka]기본개념-2 (0) | 2024.07.26 |
---|---|
[Kafka]기본 개념-1 (0) | 2024.07.08 |
[Kafka] Kafka (0) | 2024.03.11 |
728x90

1. 권고 사항
1.1. 환경 구성 시 권고 사항
Kafka는 전송된 데이터를 모두 파일 시스템에 저장하고 대규모 데이터 통신이 일어나기 때문에 고성능의 하드웨어를 사용해야 한다. Kafka Cluster 운영 시 브로커의 하드웨어 권고사항은 아래와 같다.
종 류 | 권고 설정 값 |
메모리 | 32GB 머신에 힙 메모리 6GB로 설정. 나머지는 OS의 페이지 캐시 영역으로 활용 |
CPU | 24core 머신 사용, 만약 SSL과 같은 보안 설정 사용할 경우 추가 더 높은 사양 필요 |
디스크 | RAID 10으로 설정된 디스크 사용. NAS 사용은 권고하지 않음 |
파일시스템 | XFS 또는 ext4 |
1.2. 오픈소스 Kafka를 직접 설치하여 운영하는 경우
종 류 | 개발용 Kafka Cluster | 상용 환경 Kafka Cluster |
브로커 개수 | 5개 | 10개 |
CPU | 16core | 24core |
디스크 | 사용량에 따라 달라짐 | 사용량에 따라 달라짐 |
메모리 | 16GB(heap 6GB) | 16GB(heap 6GB) |
2. 설 치(Linux)
2.1. Kafka 다운로드
- Kafka 다운로드 주소 : https://kafka.apache.org/downloads
- 인터넷 가능 환경에서는 wget 명령어 활용. 그렇지 않다면 파일을 직접 다운 받아 서버에 직접 넣어줘야 한다.

2.2. 압축 해제
$ tar -zxvf kafka_2.12-3.7.0.tgz
2.3. 환경 변수 설정
본 글에서는 /sw/kafka가 계정 홈 디렉터리이다.
$ vi .bash_profile
#### Kafka ####
export KAFKA_HOME=/sw/kafka/kafka_2.12-3.7.0
export PATH="$PATH:$KAFKA_HOME/bin"
alias khome='cd $KAFKA_HOME'
alias kbin='cd $KAFKA_HOME/bin'
alias kcfg='cd $KAFKA_HOME/config'
alias klog='cd $KAFKA_HOME/logs'
2.4. Kafka 디렉터리 구조

3. 실 행
3.1. Zookeeper 서버 시작
Kafka를 시작하기 위해 Zookeeper 서버 기동
$ cd $KAFKA_HOME/bin # Kafka의 bin 디렉터리로 이동
$ ./zookeeper-server-start.sh ../config/zookeeper.properties & # BACKGROUND 기동
3.2. Kafka 서버 시작
Zookeeper 기동 후 Kafka 실행
$ cd $KAFKA_HOME/bin # Kafka의 bin 디렉터리로 이동
$ ./kafka-server-start.sh ../config/server.properties & # BACKGROUND 기동
3.3. Kafka 기동 확인
JDK에 포함된 JPS 명령어를 통해 실행 중인 프로세스 확인
$ jps
120659 Jps
119750 QuorumPeerMain # Zookeeper
120174 Kafka # Kafka Broker
728x90
'Message Queue > Kafka' 카테고리의 다른 글
[Kafka]기본개념-2 (0) | 2024.07.26 |
---|---|
[Kafka]기본 개념-1 (0) | 2024.07.08 |
[Kafka] Kafka (0) | 2024.03.11 |