[Kafka] Kafka

2024. 3. 11. 09:28· Message Queue/Kafka
목차
  1. 1. Kafka란?
  2. 2. Kafka 생태계
  3. 3. Kafka 특징
  4. 4. Kafka 활용 사례
728x90

Kafka 로고

1. Kafka란?

  Apache Kafka는 고성능 데이터 파이프 라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 사용하는 분산 이벤트 스트리밍 플랫폼이다.

2. Kafka 생태계

상용 Kafka와 OpenSource Kafka 비교 장표

특  징 Apache Kafka Confluent For Kafka
상용여부 오픈소스 상용
주요 제공 기술 Message Queue Kafka + Stream Processing
서버 제공 여부 개별 서버 필요 서버 제공
Zookeeper 관리 여부 Zookeeper 관리 필요 Zookeeper 관리 불필요
다국어 개발 비 Java Client 지원 안함 - 추가 설치 필요 C/C++, Python, Go, .NET 기본 지원
RestProxy Confluent 제공 오픈소스 설치 필요 RestProxy 지원
모니터링 별도 모니터링 설치 필요 모니터링 기능 지원
다양한 추가지원 별도 설치 혹은 개발 필요 다양한 Connector, MQTT프록시, Schema Registry, KsqlDB 기본 지원
기술지원 불가 가능

3. Kafka 특징

특  징 설  명
높은 데이터 처리량
• 대용량 실시간 로그 처리에 특화된 설계
• AMQP 프로토콜이나 JMS API 사용하지 않고 단순한 메시지 헤더를 지닌 TCP기반 프로토콜 사용으로 인한 오버헤드 감소
• 동기/비동기 처리
데이터 연동
(Kafka connect 사용)
• 다양한 connector를 존재
• 데이터 소스 (AMQP, language, DB ..) 등 쉽게 연계
pull
• 데이터를 처리능력만큼 broker로부터 가져오기 때문에 부하에 대한 부담이 적음
• Batch 방식으로 메시지 전송 가능
데이터 영속성
• 데이터를 디스크에 저장
• 데이터 보관 기간에 언제라도 데이터 접근 가능
• 특정 offset으로 이동하여 데이터 읽기 가능
분산시스템
• clustering과 scale out이 용이.
• clustering 을 기본으로 설계하기 때문에 SPOF가 발생해도 영향을 받지 않음

4. Kafka 활용 사례

활용 사례 설  명
분산큐잉시스템 - 자원을 많이 사용하는 업무를 백그라운드 테스크 프로세서에 요청으로 자원 효율화
ex) LINE, Kakao, 배달의 민족 등
데이터 허브/버스 - 데이터 업데이트 발생 시 해당 데이터를 사용하는 다른 서비스에 전파
ex) LUNE, Square 등
실시간 스트림 처리 - 이벤트 발생 시 실시간으로 이벤트 처리 지원
ex) Netflix, Linkedin, Uber 등
로그 집계 - 로그 집계 솔루션으로 사용, 로그 파일을 수집하여 처리를 위해 중앙 위치에 저장
ex) Uber, Kakao, Trivago 등

 

728x90
저작자표시 비영리 변경금지 (새창열림)

'Message Queue > Kafka' 카테고리의 다른 글

[Kafka]기본개념-2  (0) 2024.07.26
[Kafka]기본 개념-1  (0) 2024.07.08
[Kafka]설 치  (0) 2024.07.08
  1. 1. Kafka란?
  2. 2. Kafka 생태계
  3. 3. Kafka 특징
  4. 4. Kafka 활용 사례
'Message Queue/Kafka' 카테고리의 다른 글
  • [Kafka]기본개념-2
  • [Kafka]기본 개념-1
  • [Kafka]설 치
JOTAN
JOTAN
기술 블로그
조탄 기술블로그기술 블로그
JOTAN
조탄 기술블로그
JOTAN
전체
오늘
어제
  • 목 록
    • Security
    • WEB
      • WebtoB
      • Apache
      • Nginx
    • WAS
      • Tomcat
      • JEUS
    • Observability
      • Fluentd
    • CI CD
    • DataBase
      • Redis
      • PostgreSQL
      • Victoria Metrics
    • Container Registry
      • Harbor
    • Docker
    • Kubernetes
    • Message Queue
      • Kafka
    • 개발
      • Spring Boot
      • Java
      • Shell Script
    • 기본지식
    • OS
      • Debian
      • Red Hat

블로그 메뉴

  • 홈

공지사항

  • 조'S IT 영역

인기 글

태그

  • apache ssl 설정
  • tomcat
  • Redis TEST
  • kubernetes dashboard
  • victoria metrics 설치
  • nginx
  • 쿠버네티스
  • Kubernetes
  • fluentd
  • KAFKA
  • victoria metrics
  • 레디스 설정
  • redis 설정
  • apache
  • Redis Cache
  • 레디스
  • ssl vhosts
  • 설치
  • SSL
  • kubernetes dns
  • Redis 기능 검증
  • redis
  • harbor
  • hostaliases
  • 쿠버네티스 설치
  • apache vhosts
  • kubernetes install
  • 인증서
  • webtob
  • 쿠버네티스 대시보드

최근 댓글

최근 글

hELLO · Designed By 정상우.v4.2.2
JOTAN
[Kafka] Kafka
상단으로

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.