개발이 취미인 사람

개요안녕하세요. 이번 시간에는 파티셔너(partitioner)와 메시지 발송 전략에 대해 알아보겠습니다. 혹시 Producer에 대한 개념을 놓치고 오셨다면 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Kafka Producer 메시지 생성 [Kafka] - Kafka Producer 메시지 생성개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신any-ting.tistory.com  파티셔너(Partitioner)Kafka 프로듀서에서 파티셔너는 특정 메시지가 어느 파티션에 기록될지를 결정하는 역할을 합니다.Kafka의 각 토픽..

개요안녕하세요. 이번 시간에는 로그 세그먼트 관리 방식에 대해 알아보겠습니다. 카프카의 토픽으로 들어오는 메시지(or 레코드 Record)는 세그먼트(Segment) 또는 로그 세그먼트(Log segment)라는 파일에 저장됩니다. 실제 메시지 내용만 저장되는 게 아닌 메시지 키, 값, 오프셋, 메시지 크기 같은 정보도 같이 저장되며, 중개인의 로컬 디스크에 보관됩니다. xxx.index, xxx.log, xxx.timeindex, leader-epoch-checkpoint 파일을 보관합니다. xxx.index : 로그 세그먼트에 저장된 위치와 오프셋 정보를 기록하는 파일xxx.log : 실제 메시지들이 저장되는 파일xxx.timeindex : 메시지의 타임스탬프를 기록하는 파일leader-epoch-c..

개요안녕하세요. 이번 시간에는 Broker 컨트롤러에 대해 알아보겠습니다. 지난 시간 내용을 학습하고 오지 않으신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Broker 리더 에포크 [Kafka] - Broker 리더 에포크개요안녕하세요. 이번 시간에는 브로커에 리플리케이션 복구 전략으로 리더에 포크라는 개념에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오시지 못 하신 분들은 아래 링크를any-ting.tistory.com Broker 컨트롤러카프카 클러스터 환경에서는 리더와 팔로워로 구성되어 있습니다. 그럼 여기서 리더를 지정하는 방법은 무엇일까요? 기본적으로 컨트롤러 선출 방법은 ISR 리스트 목록에서 특정 브로커를 지정합니다. 파티션의 ISR 리스트 ..

개요안녕하세요. 이번 시간에는 브로커에 리플리케이션 복구 전략으로 리더에 포크라는 개념에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오시지 못 하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Broker 리플리케이션(Replication) 동작 원리 [Kafka] - Broker 리플리케이션(Replication) 동작 원리개요안녕하세요. 이번 시간에는 브로커 리더와 팔로워 사이에 메시지를 복제하는 동작 원리에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오지 못하신 분들은 아래 링크를 통해any-ting.tistory.com 리더 에포크(Leader Epoch)리더 에포크는 카프카의 파티션들이 복구 동작을 할 때 메시지 일관성을 유지하기 위한 ..

개요안녕하세요. 이번 시간에는 브로커 리더와 팔로워 사이에 메시지를 복제하는 동작 원리에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오지 못하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Broker 메시지 복제와 커밋 ISR(In Sync Replica) [Kafka] - Broker 메시지 복제와 커밋 ISR(In Sync Replica)개요안녕하세요. 이번 시간에는 Kafka 브로커의 메시지 복제와 커밋 ISR 이라는 개념에 대해 알아보겠습니다. 혹시 Kafka 기본 개념에 대해서 잘 알지 못 하시는 분들은 아래 링크를 통해 학습을 하any-ting.tistory.com 리플리케이션 동작 원리이전 시간에 리더와 팔로워에 대한 개념에 대해 설명했습니다...

개요안녕하세요. 이번 시간에는 Kafka 브로커의 메시지 복제와 커밋 ISR 이라는 개념에 대해 알아보겠습니다. 혹시 Kafka 기본 개념에 대해서 잘 알지 못 하시는 분들은 아래 링크를 통해 학습을 하고 오시는 걸 추천드리겠습니다.[Kafka] - 기본 개념 [Kafka] - 기본 개념개요안녕하세요. 이번 시간에는 Apache Kafka의 대해 알아보겠습니다.  Apache Kafka(이하: 카프카)는 아파치 재단에서 만든 오픈소스 메시지 브로커 프로젝트입니다.  위 그림은 메시지 브로커 기본any-ting.tistory.com 리더와 팔로워기본 개념 시간에 Kafka 클러스터 환경에서는 여러 Broker를 구성했을 때 리더와 팔러워가 존재한다고 말씀을 드렸습니다.Producer와 Consumer는 리..

개요안녕하세요. 이번 시간에는 Kafka Consumer의 대해 알아보겠습니다. 지난 시간에는 Kafka Producer의 대해 알아봤습니다. 혹시 놓치고 오신 분들은 꼭 학습을 하고 오시는 걸 추천드리겠습니다.[Kafka] - Kafka Producer 메시지 생성 [Kafka] - Kafka Producer 메시지 생성개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신any-ting.tistory.com 기본 개념Kafka는 메시지 브로커 소프트웨어입니다. Consumer는 기본적으로 특정 토픽 안에 생성된 파티션에 저장되어 있는 메시지를 가져와서 처..

개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신 분들은 이전 내용을 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - 로컬 개발 환경 구축 [Kafka] - 로컬 개발 환경 구축개요안녕하세요 이번 시간에는 로컬 PC 환경에 Kafka 환경을 구축하고 토픽을 생성해서 콘솔 환경에서 메시지를 전송하고 메시지를 읽는 실습 시간을 가져보겠습니다. 혹시 이전 시간에 Kafka에any-ting.tistory.com Producer FlowKafka에서 메시지를 전송하는 방법은 Producer를 구현해서 메시지를 전송하는 방법이 있습니다.그럼 내부적으로 프로듀..

개요안녕하세요 이번 시간에는 로컬 PC 환경에 Kafka 환경을 구축하고 토픽을 생성해서 콘솔 환경에서 메시지를 전송하고 메시지를 읽는 실습 시간을 가져보겠습니다. 혹시 이전 시간에 Kafka에 대한 기본 개념을 학습하고 오지 않으신 분들은 다음 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - 기본 개념 [Kafka] - 기본 개념개요안녕하세요. 이번 시간에는 Apache Kafka의 대해 알아보겠습니다.  Apache Kafka(이하: 카프카)는 아파치 재단에서 만든 오픈소스 메시지 브로커 프로젝트입니다.아파치 재단은 Apache Web Server, HBaseany-ting.tistory.com 개발환경 구축물리적인 PC환경에 도커를 설치를 하거나 클라우드에 생성하는 방법도 있지만 ..

개요안녕하세요. 이번 시간에는 Apache Kafka의 대해 알아보겠습니다.  Apache Kafka(이하: 카프카)는 아파치 재단에서 만든 오픈소스 메시지 브로커 프로젝트입니다.  위 그림은 메시지 브로커 기본적인 구조를 보여줍니다. Producer는 메시지를 생성하고 메시지를 Queue로 전송하는 역할을 합니다.Consumer는 Queue에 적재된 메시지를 가져와서 처리하는 역할을 합니다. Kafka는 위 구조로 높은 처리량과 낮은 지연시간을 통해 대량에 메시지를 빠르게 처리합니다. 아파치 재단은 Apache Web Server, HBase, Spark, Cassandra, Hadoop 등 정말 다양한 프로젝트를 만들어서 제공해 주는 엄청난 재단입니다. 해당 프로젝트를 안 사용하는 IT 회사는 없다고..