[Kafka]설 치

2024. 7. 8. 13:26· Message Queue/Kafka
목차
  1. 1. 권고 사항
  2. 1.1. 환경 구성 시 권고 사항
  3. 1.2. 오픈소스 Kafka를 직접 설치하여 운영하는 경우
  4. 2. 설  치(Linux)
  5. 2.1. Kafka 다운로드
  6. 2.2. 압축 해제
  7. 2.3. 환경 변수 설정
  8. 2.4. Kafka 디렉터리 구조
  9. 3. 실  행
  10. 3.1. Zookeeper 서버 시작
  11. 3.2. Kafka 서버 시작
  12. 3.3.  Kafka 기동 확인
728x90

Kafka 로고

1. 권고 사항

1.1. 환경 구성 시 권고 사항

Kafka는 전송된 데이터를 모두 파일 시스템에 저장하고 대규모 데이터 통신이 일어나기 때문에 고성능의 하드웨어를 사용해야 한다. Kafka Cluster 운영 시 브로커의 하드웨어 권고사항은 아래와 같다.

종  류 권고 설정 값
메모리 32GB 머신에 힙 메모리 6GB로 설정. 나머지는 OS의 페이지 캐시 영역으로 활용
CPU 24core 머신 사용, 만약 SSL과 같은 보안 설정 사용할 경우 추가 더 높은 사양 필요
디스크 RAID 10으로 설정된 디스크 사용. NAS 사용은 권고하지 않음
파일시스템 XFS 또는 ext4

1.2. 오픈소스 Kafka를 직접 설치하여 운영하는 경우

종  류 개발용 Kafka Cluster 상용 환경 Kafka Cluster
브로커 개수 5개 10개
CPU 16core 24core
디스크 사용량에 따라 달라짐 사용량에 따라 달라짐
메모리 16GB(heap 6GB) 16GB(heap 6GB)

2. 설  치(Linux)

2.1. Kafka 다운로드

  • Kafka 다운로드 주소 : https://kafka.apache.org/downloads
  • 인터넷 가능 환경에서는 wget 명령어 활용. 그렇지 않다면 파일을 직접 다운 받아 서버에 직접 넣어줘야 한다.

Kafka 설치 홈페이지

2.2. 압축 해제

$ tar -zxvf kafka_2.12-3.7.0.tgz

2.3. 환경 변수 설정

본 글에서는 /sw/kafka가 계정 홈 디렉터리이다.

$ vi .bash_profile

#### Kafka ####
export KAFKA_HOME=/sw/kafka/kafka_2.12-3.7.0
export PATH="$PATH:$KAFKA_HOME/bin"

alias khome='cd $KAFKA_HOME'
alias kbin='cd $KAFKA_HOME/bin'
alias kcfg='cd $KAFKA_HOME/config'
alias klog='cd $KAFKA_HOME/logs'

2.4. Kafka 디렉터리 구조

Kafka 디렉터리 구조


3. 실  행

3.1. Zookeeper 서버 시작

Kafka를 시작하기 위해 Zookeeper 서버 기동

$ cd $KAFKA_HOME/bin        # Kafka의 bin 디렉터리로 이동
$ ./zookeeper-server-start.sh ../config/zookeeper.properties &   # BACKGROUND 기동

3.2. Kafka 서버 시작

Zookeeper 기동 후 Kafka 실행 

$ cd $KAFKA_HOME/bin             # Kafka의 bin 디렉터리로 이동
$ ./kafka-server-start.sh ../config/server.properties &         # BACKGROUND 기동

3.3.  Kafka 기동 확인

JDK에 포함된 JPS 명령어를 통해 실행 중인 프로세스 확인

$ jps
120659 Jps
119750 QuorumPeerMain        # Zookeeper
120174 Kafka       # Kafka Broker

 

728x90
저작자표시 비영리 변경금지 (새창열림)

'Message Queue > Kafka' 카테고리의 다른 글

[Kafka]기본개념-2  (0) 2024.07.26
[Kafka]기본 개념-1  (0) 2024.07.08
[Kafka] Kafka  (0) 2024.03.11
  1. 1. 권고 사항
  2. 1.1. 환경 구성 시 권고 사항
  3. 1.2. 오픈소스 Kafka를 직접 설치하여 운영하는 경우
  4. 2. 설  치(Linux)
  5. 2.1. Kafka 다운로드
  6. 2.2. 압축 해제
  7. 2.3. 환경 변수 설정
  8. 2.4. Kafka 디렉터리 구조
  9. 3. 실  행
  10. 3.1. Zookeeper 서버 시작
  11. 3.2. Kafka 서버 시작
  12. 3.3.  Kafka 기동 확인
'Message Queue/Kafka' 카테고리의 다른 글
  • [Kafka]기본개념-2
  • [Kafka]기본 개념-1
  • [Kafka] Kafka
JOTAN
JOTAN
기술 블로그
JOTAN
조탄 기술블로그
JOTAN
전체
오늘
어제
  • 목 록
    • Security
    • WEB
      • WebtoB
      • Apache
      • Nginx
    • WAS
      • Tomcat
      • JEUS
      • Wildfly
    • Observability
      • Fluentd
    • CI CD
    • DataBase
      • Redis
      • PostgreSQL
      • Victoria Metrics
    • Container Registry
      • Harbor
    • Docker
    • Kubernetes
    • Message Queue
      • Kafka
    • 개발
      • Spring Boot
      • Java
      • Shell Script
    • 기본지식
    • OS
      • Debian
      • Red Hat

블로그 메뉴

  • 홈

공지사항

  • 조'S IT 영역

인기 글

태그

  • apache vhosts
  • harbor
  • wildfly14
  • Redis TEST
  • 쿠버네티스
  • 설치
  • redis 설정
  • apache ssl 설정
  • hostaliases
  • 레디스 설정
  • webtob
  • Wildfly Session Clustering
  • kubernetes install
  • redis
  • 레디스
  • 쿠버네티스 설치
  • KAFKA
  • Kubernetes
  • kubernetes dns
  • SSL
  • 인증서
  • tomcat
  • jboss session clustering
  • apache
  • Redis 기능 검증
  • fluentd
  • ssl vhosts
  • nginx
  • Redis Cache
  • 쿠버네티스 대시보드

최근 댓글

최근 글

hELLO · Designed By 정상우.v4.2.2
JOTAN
[Kafka]설 치
상단으로

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.