목록2024/10 (8)

개발이 취미인 사람

[Kafka] - Consumer 그룹 코디네이터

개요안녕하세요. 이번 시간에 Consumer 그룹 코디네이터에 대해 알아보겠습니다. Kafka Consumer 기본 개념에 대해 학습하고 오지 못하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Kafka Consumer 메시지 소비 [Kafka] - Kafka Consumer 메시지 소비개요안녕하세요. 이번 시간에는 Kafka Consumer의 대해 알아보겠습니다. 지난 시간에는 Kafka Producer의 대해 알아봤습니다. 혹시 놓치고 오신 분들은 꼭 학습을 하고 오시는 걸 추천드리겠습니다.[Kafkany-ting.tistory.com  그룹 코디네이터하나 또는 여러 개에 컨슈머는 하나의 컨슈머 그룹으로 구성됩니다. 컨슈머 그룹 내 컨슈머들은 언제든지 자신이 속한 ..
백앤드(Back-End)/Kafka 2024. 10. 30. 13:37
[Kafka] - Producer 정확히 한번 전송

개요안녕하세요. 이번 시간에는 Kafka Producer에서 정확히 한번 발송하는 방법에 대해 알아보겠습니다. 혹시 지난 시간에 내용을 놓치고 오신 분들은 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Producer 메시지 전송 방식 [Kafka] - Producer 메시지 전송 방식개요안녕하세요. 이번 시간에는 Kafka를 사용하면서 중복 없는 메시지 전송 방식에 대해 알아보겠습니다. 이전 시간에 Kafka Producer에 대해 알아봤습니다. 혹시 놓치신 분들은 아래 링크를 통해 학any-ting.tistory.com 트랜잭션 API이전 시간에는 멱등성 옵션을 활용해서 중복 없는 전송에 대해 알아봤습니다. PID(Producer Id) 값과 메시지 번호를 통해 메시지를 비교해 중복 메시지 처..
카테고리 없음 2024. 10. 26. 20:32
[Kafka] - Producer 메시지 전송 방식

개요안녕하세요. 이번 시간에는 Kafka를 사용하면서 중복 없는 메시지 전송 방식에 대해 알아보겠습니다. 이전 시간에 Kafka Producer에 대해 알아봤습니다. 혹시 놓치신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다. [Kafka] - Kafka Producer 메시지 생성 [Kafka] - Kafka Producer 메시지 생성개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신any-ting.tistory.com  개념Kafka를 사용하다 보면 자주 고려해야 하는 상황이 있습니다. 메시지가 중복으로 발송되면 어떻게 처리하지?.....
백앤드(Back-End)/Kafka 2024. 10. 21. 16:50
[Kafka] - Producer 파티셔너(partitioner)와 메시지 발송 전략

개요안녕하세요. 이번 시간에는 파티셔너(partitioner)와 메시지 발송 전략에 대해 알아보겠습니다. 혹시 Producer에 대한 개념을 놓치고 오셨다면 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Kafka Producer 메시지 생성 [Kafka] - Kafka Producer 메시지 생성개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신any-ting.tistory.com  파티셔너(Partitioner)Kafka 프로듀서에서 파티셔너는 특정 메시지가 어느 파티션에 기록될지를 결정하는 역할을 합니다.Kafka의 각 토픽..
카테고리 없음 2024. 10. 20. 20:29
[Kafka] - Broker 로그(로그 세그먼트)

개요안녕하세요. 이번 시간에는 로그 세그먼트 관리 방식에 대해 알아보겠습니다. 카프카의 토픽으로 들어오는 메시지(or 레코드 Record)는 세그먼트(Segment) 또는 로그 세그먼트(Log segment)라는 파일에 저장됩니다. 실제 메시지 내용만 저장되는 게 아닌 메시지 키, 값, 오프셋, 메시지 크기 같은 정보도 같이 저장되며, 중개인의 로컬 디스크에 보관됩니다. xxx.index, xxx.log, xxx.timeindex, leader-epoch-checkpoint 파일을 보관합니다. xxx.index : 로그 세그먼트에 저장된 위치와 오프셋 정보를 기록하는 파일xxx.log : 실제 메시지들이 저장되는 파일xxx.timeindex : 메시지의 타임스탬프를 기록하는 파일leader-epoch-c..
카테고리 없음 2024. 10. 19. 14:25
[Kafka] - Broker 컨트롤러(Controller)

개요안녕하세요. 이번 시간에는 Broker 컨트롤러에 대해 알아보겠습니다. 지난 시간 내용을 학습하고 오지 않으신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Broker 리더 에포크 [Kafka] - Broker 리더 에포크개요안녕하세요. 이번 시간에는 브로커에 리플리케이션 복구 전략으로 리더에 포크라는 개념에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오시지 못 하신 분들은 아래 링크를any-ting.tistory.com Broker 컨트롤러카프카 클러스터 환경에서는 리더와 팔로워로 구성되어 있습니다. 그럼 여기서 리더를 지정하는 방법은 무엇일까요? 기본적으로 컨트롤러 선출 방법은 ISR 리스트 목록에서 특정 브로커를 지정합니다. 파티션의 ISR 리스트 ..
백앤드(Back-End)/Kafka 2024. 10. 18. 13:49
[Kafka] - Broker 리더 에포크

개요안녕하세요. 이번 시간에는 브로커에 리플리케이션 복구 전략으로 리더에 포크라는 개념에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오시지 못 하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Broker 리플리케이션(Replication) 동작 원리 [Kafka] - Broker 리플리케이션(Replication) 동작 원리개요안녕하세요. 이번 시간에는 브로커 리더와 팔로워 사이에 메시지를 복제하는 동작 원리에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오지 못하신 분들은 아래 링크를 통해any-ting.tistory.com 리더 에포크(Leader Epoch)리더 에포크는 카프카의 파티션들이 복구 동작을 할 때 메시지 일관성을 유지하기 위한 ..
카테고리 없음 2024. 10. 17. 12:53
[Kafka] - Broker 리플리케이션(Replication) 동작 원리

개요안녕하세요. 이번 시간에는 브로커 리더와 팔로워 사이에 메시지를 복제하는 동작 원리에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오지 못하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Broker 메시지 복제와 커밋 ISR(In Sync Replica) [Kafka] - Broker 메시지 복제와 커밋 ISR(In Sync Replica)개요안녕하세요. 이번 시간에는 Kafka 브로커의 메시지 복제와 커밋 ISR 이라는 개념에 대해 알아보겠습니다. 혹시 Kafka 기본 개념에 대해서 잘 알지 못 하시는 분들은 아래 링크를 통해 학습을 하any-ting.tistory.com 리플리케이션 동작 원리이전 시간에 리더와 팔로워에 대한 개념에 대해 설명했습니다...
백앤드(Back-End)/Kafka 2024. 10. 15. 12:08
이전 Prev 1 Next 다음