KAFKA

1.토픽과 파티션토픽은 Kafka에서 데이터를 구분하기 위해 사용하는 단위이다. 토픽은 1개 이상의 파티션을 소유하고 있다.파티션에는 Producer가 보낸 데이터들이 들어가 저장되는데 이 데이터를 '레코드' 라고 부른다.토픽 생성 시 파티션은 0번 브로커 부터 시작하여 Round Robin 방식으로 리더 파티션들이 생성 된다.Kafka에 파티션은 Consumer가 데이터를 가져 가도 삭제되지 않는다.파티션이 5개인 토픽을 생성했을 경우 리더 파티션들은 아래와 같이 Round Robin 방식으로 생성 된다.1.1. 특정 브로커에 리더 파티션이 몰린 경우리더 파티션이 몰린 특정 브로커만 Kafka 클라이언트와 통신하기 때문에 CPU, Memory 사용량이 높아진다.kafka-resassign-partiti..
1. Kafka란?  Apache Kafka는 고성능 데이터 파이프 라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 사용하는 분산 이벤트 스트리밍 플랫폼이다.2. Kafka 생태계상용 Kafka와 OpenSource Kafka 비교 장표특  징Apache KafkaConfluent For Kafka상용여부오픈소스상용주요 제공 기술Message QueueKafka + Stream Processing서버 제공 여부개별 서버 필요서버 제공Zookeeper 관리 여부Zookeeper 관리 필요Zookeeper 관리 불필요다국어 개발비 Java Client 지원 안함 - 추가 설치 필요C/C++, Python, Go, .NET 기본 지원RestProxyConfluent 제공 오픈소스 설치..
Garfield_Jo
'KAFKA' 태그의 글 목록