개발이 취미인 사람

개요안녕하세요. 이번 시간에는 컨슈머 파티션 전략에 대해 알아보겠습니다. 지난 시간 내용을 놓치고 오신 분들은 학습하고 오시는 걸 추천드리겠습니다. [Kafka] - Consumer 스태틱 멤버십개요안녕하세요. 이번 시간에는 스태닉 멤버십이라는 개념에 대해 알아보겠습니다. 지난 시간 내용을 놓치고 오신 분들은 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Consumer 그룹 코디네이any-ting.tistory.com 파티션 전략이전 프로듀서 학습을 하면서 파티셔너라는 개념에 대해 알아봤습니다. 간단하게 파티셔너는 메시지를 특정 토픽의 어느 파티션으로 전송할지를 결정하는 역할을 했습니다. 이와 비슷하게 컨슈머의 동작에서도 특정 토픽의 어느 파티션으로부터 메시지를 읽어 올지를 결정합니다. 컨슈머 ..

개요안녕하세요. 이번 시간에는 스태닉 멤버십이라는 개념에 대해 알아보겠습니다. 지난 시간 내용을 놓치고 오신 분들은 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Consumer 그룹 코디네이터 [Kafka] - Consumer 그룹 코디네이터개요안녕하세요. 이번 시간에 Consumer 그룹 코디네이터에 대해 알아보겠습니다. Kafka Consumer 기본 개념에 대해 학습하고 오지 못하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습any-ting.tistory.com 스태틱 멤버십스태틱 멤버십(Static membership)이란 컨슈머 그룹이 불필요한 리밸런싱을 하지 않기 위한 옵션입니다. 하나의 컨슈머가 재시작되면 전체 리밸런싱이 일어나며, 리밸런싱 작업이 일어나는 동안 컨슈머들..

개요안녕하세요. 이번 시간에 Consumer 그룹 코디네이터에 대해 알아보겠습니다. Kafka Consumer 기본 개념에 대해 학습하고 오지 못하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Kafka Consumer 메시지 소비 [Kafka] - Kafka Consumer 메시지 소비개요안녕하세요. 이번 시간에는 Kafka Consumer의 대해 알아보겠습니다. 지난 시간에는 Kafka Producer의 대해 알아봤습니다. 혹시 놓치고 오신 분들은 꼭 학습을 하고 오시는 걸 추천드리겠습니다.[Kafkany-ting.tistory.com  그룹 코디네이터하나 또는 여러 개에 컨슈머는 하나의 컨슈머 그룹으로 구성됩니다. 컨슈머 그룹 내 컨슈머들은 언제든지 자신이 속한 ..

개요안녕하세요. 이번 시간에는 Kafka를 사용하면서 중복 없는 메시지 전송 방식에 대해 알아보겠습니다. 이전 시간에 Kafka Producer에 대해 알아봤습니다. 혹시 놓치신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다. [Kafka] - Kafka Producer 메시지 생성 [Kafka] - Kafka Producer 메시지 생성개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신any-ting.tistory.com  개념Kafka를 사용하다 보면 자주 고려해야 하는 상황이 있습니다. 메시지가 중복으로 발송되면 어떻게 처리하지?.....

개요안녕하세요. 이번 시간에는 Broker 컨트롤러에 대해 알아보겠습니다. 지난 시간 내용을 학습하고 오지 않으신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Broker 리더 에포크 [Kafka] - Broker 리더 에포크개요안녕하세요. 이번 시간에는 브로커에 리플리케이션 복구 전략으로 리더에 포크라는 개념에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오시지 못 하신 분들은 아래 링크를any-ting.tistory.com Broker 컨트롤러카프카 클러스터 환경에서는 리더와 팔로워로 구성되어 있습니다. 그럼 여기서 리더를 지정하는 방법은 무엇일까요? 기본적으로 컨트롤러 선출 방법은 ISR 리스트 목록에서 특정 브로커를 지정합니다. 파티션의 ISR 리스트 ..

개요안녕하세요. 이번 시간에는 브로커 리더와 팔로워 사이에 메시지를 복제하는 동작 원리에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오지 못하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Broker 메시지 복제와 커밋 ISR(In Sync Replica) [Kafka] - Broker 메시지 복제와 커밋 ISR(In Sync Replica)개요안녕하세요. 이번 시간에는 Kafka 브로커의 메시지 복제와 커밋 ISR 이라는 개념에 대해 알아보겠습니다. 혹시 Kafka 기본 개념에 대해서 잘 알지 못 하시는 분들은 아래 링크를 통해 학습을 하any-ting.tistory.com 리플리케이션 동작 원리이전 시간에 리더와 팔로워에 대한 개념에 대해 설명했습니다...

개요안녕하세요. 이번 시간에는 Kafka 브로커의 메시지 복제와 커밋 ISR 이라는 개념에 대해 알아보겠습니다. 혹시 Kafka 기본 개념에 대해서 잘 알지 못 하시는 분들은 아래 링크를 통해 학습을 하고 오시는 걸 추천드리겠습니다.[Kafka] - 기본 개념 [Kafka] - 기본 개념개요안녕하세요. 이번 시간에는 Apache Kafka의 대해 알아보겠습니다.  Apache Kafka(이하: 카프카)는 아파치 재단에서 만든 오픈소스 메시지 브로커 프로젝트입니다.  위 그림은 메시지 브로커 기본any-ting.tistory.com 리더와 팔로워기본 개념 시간에 Kafka 클러스터 환경에서는 여러 Broker를 구성했을 때 리더와 팔러워가 존재한다고 말씀을 드렸습니다.Producer와 Consumer는 리..

개요안녕하세요. 이번 시간에는 Kafka Consumer의 대해 알아보겠습니다. 지난 시간에는 Kafka Producer의 대해 알아봤습니다. 혹시 놓치고 오신 분들은 꼭 학습을 하고 오시는 걸 추천드리겠습니다.[Kafka] - Kafka Producer 메시지 생성 [Kafka] - Kafka Producer 메시지 생성개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신any-ting.tistory.com 기본 개념Kafka는 메시지 브로커 소프트웨어입니다. Consumer는 기본적으로 특정 토픽 안에 생성된 파티션에 저장되어 있는 메시지를 가져와서 처..

개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신 분들은 이전 내용을 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - 로컬 개발 환경 구축 [Kafka] - 로컬 개발 환경 구축개요안녕하세요 이번 시간에는 로컬 PC 환경에 Kafka 환경을 구축하고 토픽을 생성해서 콘솔 환경에서 메시지를 전송하고 메시지를 읽는 실습 시간을 가져보겠습니다. 혹시 이전 시간에 Kafka에any-ting.tistory.com Producer FlowKafka에서 메시지를 전송하는 방법은 Producer를 구현해서 메시지를 전송하는 방법이 있습니다.그럼 내부적으로 프로듀..

개요안녕하세요 이번 시간에는 로컬 PC 환경에 Kafka 환경을 구축하고 토픽을 생성해서 콘솔 환경에서 메시지를 전송하고 메시지를 읽는 실습 시간을 가져보겠습니다. 혹시 이전 시간에 Kafka에 대한 기본 개념을 학습하고 오지 않으신 분들은 다음 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - 기본 개념 [Kafka] - 기본 개념개요안녕하세요. 이번 시간에는 Apache Kafka의 대해 알아보겠습니다.  Apache Kafka(이하: 카프카)는 아파치 재단에서 만든 오픈소스 메시지 브로커 프로젝트입니다.아파치 재단은 Apache Web Server, HBaseany-ting.tistory.com 개발환경 구축물리적인 PC환경에 도커를 설치를 하거나 클라우드에 생성하는 방법도 있지만 ..