목록백앤드(Back-End) (78)

개발이 취미인 사람

[Kafka] - Consumer 스태틱 맴버십

개요안녕하세요. 이번 시간에는 스태닉 멤버십이라는 개념에 대해 알아보겠습니다. 지난 시간 내용을 놓치고 오신 분들은 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Consumer 그룹 코디네이터 [Kafka] - Consumer 그룹 코디네이터개요안녕하세요. 이번 시간에 Consumer 그룹 코디네이터에 대해 알아보겠습니다. Kafka Consumer 기본 개념에 대해 학습하고 오지 못하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습any-ting.tistory.com 스태틱 멤버십스태틱 멤버십(Static membership)이란 컨슈머 그룹이 불필요한 리밸런싱을 하지 않기 위한 옵션입니다. 하나의 컨슈머가 재시작되면 전체 리밸런싱이 일어나며, 리밸런싱 작업이 일어나는 동안 컨슈머들..
백앤드(Back-End)/Kafka 2024. 11. 2. 15:15
[Kafka] - Consumer 그룹 코디네이터

개요안녕하세요. 이번 시간에 Consumer 그룹 코디네이터에 대해 알아보겠습니다. Kafka Consumer 기본 개념에 대해 학습하고 오지 못하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Kafka Consumer 메시지 소비 [Kafka] - Kafka Consumer 메시지 소비개요안녕하세요. 이번 시간에는 Kafka Consumer의 대해 알아보겠습니다. 지난 시간에는 Kafka Producer의 대해 알아봤습니다. 혹시 놓치고 오신 분들은 꼭 학습을 하고 오시는 걸 추천드리겠습니다.[Kafkany-ting.tistory.com  그룹 코디네이터하나 또는 여러 개에 컨슈머는 하나의 컨슈머 그룹으로 구성됩니다. 컨슈머 그룹 내 컨슈머들은 언제든지 자신이 속한 ..
백앤드(Back-End)/Kafka 2024. 10. 30. 13:37
[Kafka] - Producer 메시지 전송 방식

개요안녕하세요. 이번 시간에는 Kafka를 사용하면서 중복 없는 메시지 전송 방식에 대해 알아보겠습니다. 이전 시간에 Kafka Producer에 대해 알아봤습니다. 혹시 놓치신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다. [Kafka] - Kafka Producer 메시지 생성 [Kafka] - Kafka Producer 메시지 생성개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신any-ting.tistory.com  개념Kafka를 사용하다 보면 자주 고려해야 하는 상황이 있습니다. 메시지가 중복으로 발송되면 어떻게 처리하지?.....
백앤드(Back-End)/Kafka 2024. 10. 21. 16:50
[Kafka] - Broker 컨트롤러(Controller)

개요안녕하세요. 이번 시간에는 Broker 컨트롤러에 대해 알아보겠습니다. 지난 시간 내용을 학습하고 오지 않으신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Broker 리더 에포크 [Kafka] - Broker 리더 에포크개요안녕하세요. 이번 시간에는 브로커에 리플리케이션 복구 전략으로 리더에 포크라는 개념에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오시지 못 하신 분들은 아래 링크를any-ting.tistory.com Broker 컨트롤러카프카 클러스터 환경에서는 리더와 팔로워로 구성되어 있습니다. 그럼 여기서 리더를 지정하는 방법은 무엇일까요? 기본적으로 컨트롤러 선출 방법은 ISR 리스트 목록에서 특정 브로커를 지정합니다. 파티션의 ISR 리스트 ..
백앤드(Back-End)/Kafka 2024. 10. 18. 13:49
[Kafka] - Broker 리플리케이션(Replication) 동작 원리

개요안녕하세요. 이번 시간에는 브로커 리더와 팔로워 사이에 메시지를 복제하는 동작 원리에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오지 못하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Broker 메시지 복제와 커밋 ISR(In Sync Replica) [Kafka] - Broker 메시지 복제와 커밋 ISR(In Sync Replica)개요안녕하세요. 이번 시간에는 Kafka 브로커의 메시지 복제와 커밋 ISR 이라는 개념에 대해 알아보겠습니다. 혹시 Kafka 기본 개념에 대해서 잘 알지 못 하시는 분들은 아래 링크를 통해 학습을 하any-ting.tistory.com 리플리케이션 동작 원리이전 시간에 리더와 팔로워에 대한 개념에 대해 설명했습니다...
백앤드(Back-End)/Kafka 2024. 10. 15. 12:08
[Kafka] - Broker 메시지 복제와 커밋 ISR(In Sync Replica)

개요안녕하세요. 이번 시간에는 Kafka 브로커의 메시지 복제와 커밋 ISR 이라는 개념에 대해 알아보겠습니다. 혹시 Kafka 기본 개념에 대해서 잘 알지 못 하시는 분들은 아래 링크를 통해 학습을 하고 오시는 걸 추천드리겠습니다.[Kafka] - 기본 개념 [Kafka] - 기본 개념개요안녕하세요. 이번 시간에는 Apache Kafka의 대해 알아보겠습니다.  Apache Kafka(이하: 카프카)는 아파치 재단에서 만든 오픈소스 메시지 브로커 프로젝트입니다.  위 그림은 메시지 브로커 기본any-ting.tistory.com 리더와 팔로워기본 개념 시간에 Kafka 클러스터 환경에서는 여러 Broker를 구성했을 때 리더와 팔러워가 존재한다고 말씀을 드렸습니다.Producer와 Consumer는 리..
백앤드(Back-End)/Kafka 2024. 8. 2. 18:18
[Kafka] - Kafka Consumer 메시지 소비

개요안녕하세요. 이번 시간에는 Kafka Consumer의 대해 알아보겠습니다. 지난 시간에는 Kafka Producer의 대해 알아봤습니다. 혹시 놓치고 오신 분들은 꼭 학습을 하고 오시는 걸 추천드리겠습니다.[Kafka] - Kafka Producer 메시지 생성 [Kafka] - Kafka Producer 메시지 생성개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신any-ting.tistory.com 기본 개념Kafka는 메시지 브로커 소프트웨어입니다. Consumer는 기본적으로 특정 토픽 안에 생성된 파티션에 저장되어 있는 메시지를 가져와서 처..
백앤드(Back-End)/Kafka 2024. 8. 2. 13:31
[Kafka] - Kafka Producer 메시지 생성

개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신 분들은 이전 내용을 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - 로컬 개발 환경 구축 [Kafka] - 로컬 개발 환경 구축개요안녕하세요 이번 시간에는 로컬 PC 환경에 Kafka 환경을 구축하고 토픽을 생성해서 콘솔 환경에서 메시지를 전송하고 메시지를 읽는 실습 시간을 가져보겠습니다. 혹시 이전 시간에 Kafka에any-ting.tistory.com Producer FlowKafka에서 메시지를 전송하는 방법은 Producer를 구현해서 메시지를 전송하는 방법이 있습니다.그럼 내부적으로 프로듀..
백앤드(Back-End)/Kafka 2024. 8. 1. 13:41
[Kafka] - 로컬 개발 환경 구축

개요안녕하세요 이번 시간에는 로컬 PC 환경에 Kafka 환경을 구축하고 토픽을 생성해서 콘솔 환경에서 메시지를 전송하고 메시지를 읽는 실습 시간을 가져보겠습니다. 혹시 이전 시간에 Kafka에 대한 기본 개념을 학습하고 오지 않으신 분들은 다음 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - 기본 개념 [Kafka] - 기본 개념개요안녕하세요. 이번 시간에는 Apache Kafka의 대해 알아보겠습니다.  Apache Kafka(이하: 카프카)는 아파치 재단에서 만든 오픈소스 메시지 브로커 프로젝트입니다.아파치 재단은 Apache Web Server, HBaseany-ting.tistory.com 개발환경 구축물리적인 PC환경에 도커를 설치를 하거나 클라우드에 생성하는 방법도 있지만 ..
백앤드(Back-End)/Kafka 2024. 7. 20. 23:34
[Kafka] - 기본 개념

개요안녕하세요. 이번 시간에는 Apache Kafka의 대해 알아보겠습니다.  Apache Kafka(이하: 카프카)는 아파치 재단에서 만든 오픈소스 메시지 브로커 프로젝트입니다.  위 그림은 메시지 브로커 기본적인 구조를 보여줍니다. Producer는 메시지를 생성하고 메시지를 Queue로 전송하는 역할을 합니다.Consumer는 Queue에 적재된 메시지를 가져와서 처리하는 역할을 합니다. Kafka는 위 구조로 높은 처리량과 낮은 지연시간을 통해 대량에 메시지를 빠르게 처리합니다. 아파치 재단은 Apache Web Server, HBase, Spark, Cassandra, Hadoop 등 정말 다양한 프로젝트를 만들어서 제공해 주는 엄청난 재단입니다. 해당 프로젝트를 안 사용하는 IT 회사는 없다고..
백앤드(Back-End)/Kafka 2024. 7. 19. 17:45
이전 Prev 1 2 3 4 ··· 8 Next 다음