개발이 취미인 사람

개요안녕하세요. 이번 시간에는 JPA에서 기본적인 동작방식에 대해 알아보겠습니다. 기본 동작 방식JPA에는 기본적으로 Persistence 라는 클래스를 통해 설정 정보를 가져와 EntityManagerFactory를 만듭니다.그 후 필요에 따라 EntityManger를 생성해서 CRUD를 수행할 수 있습니다. EntityManger는 간단하게 생각해서 DB Connection을 하나 생성한다고 볼수 있습니다. 여기서 중요한 부분은 EntityManagerFactory는 애플리케이션 전체에서 공유해서 사용합니다. 하지만 EntityManger는 쓰레드 간에 공유를 하면 안됩니다.  그리고 JPA에서 모든 데이터 변경은 트랜잭션 안에서 실행되어야 동작합니다.    단순 CURD1. Entity 생성imp..

개요안녕하세요. 이번 시간에는 컨슈머 파티션 전략에 대해 알아보겠습니다. 지난 시간 내용을 놓치고 오신 분들은 학습하고 오시는 걸 추천드리겠습니다. [Kafka] - Consumer 스태틱 멤버십개요안녕하세요. 이번 시간에는 스태닉 멤버십이라는 개념에 대해 알아보겠습니다. 지난 시간 내용을 놓치고 오신 분들은 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Consumer 그룹 코디네이any-ting.tistory.com 파티션 전략이전 프로듀서 학습을 하면서 파티셔너라는 개념에 대해 알아봤습니다. 간단하게 파티셔너는 메시지를 특정 토픽의 어느 파티션으로 전송할지를 결정하는 역할을 했습니다. 이와 비슷하게 컨슈머의 동작에서도 특정 토픽의 어느 파티션으로부터 메시지를 읽어 올지를 결정합니다. 컨슈머 ..

개요안녕하세요. 이번 시간에는 스태닉 멤버십이라는 개념에 대해 알아보겠습니다. 지난 시간 내용을 놓치고 오신 분들은 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Consumer 그룹 코디네이터 [Kafka] - Consumer 그룹 코디네이터개요안녕하세요. 이번 시간에 Consumer 그룹 코디네이터에 대해 알아보겠습니다. Kafka Consumer 기본 개념에 대해 학습하고 오지 못하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습any-ting.tistory.com 스태틱 멤버십스태틱 멤버십(Static membership)이란 컨슈머 그룹이 불필요한 리밸런싱을 하지 않기 위한 옵션입니다. 하나의 컨슈머가 재시작되면 전체 리밸런싱이 일어나며, 리밸런싱 작업이 일어나는 동안 컨슈머들..

개요안녕하세요. 이번 시간에 Consumer 그룹 코디네이터에 대해 알아보겠습니다. Kafka Consumer 기본 개념에 대해 학습하고 오지 못하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Kafka Consumer 메시지 소비 [Kafka] - Kafka Consumer 메시지 소비개요안녕하세요. 이번 시간에는 Kafka Consumer의 대해 알아보겠습니다. 지난 시간에는 Kafka Producer의 대해 알아봤습니다. 혹시 놓치고 오신 분들은 꼭 학습을 하고 오시는 걸 추천드리겠습니다.[Kafkany-ting.tistory.com  그룹 코디네이터하나 또는 여러 개에 컨슈머는 하나의 컨슈머 그룹으로 구성됩니다. 컨슈머 그룹 내 컨슈머들은 언제든지 자신이 속한 ..

개요안녕하세요. 이번 시간에는 Kafka Producer에서 정확히 한번 발송하는 방법에 대해 알아보겠습니다. 혹시 지난 시간에 내용을 놓치고 오신 분들은 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Producer 메시지 전송 방식 [Kafka] - Producer 메시지 전송 방식개요안녕하세요. 이번 시간에는 Kafka를 사용하면서 중복 없는 메시지 전송 방식에 대해 알아보겠습니다. 이전 시간에 Kafka Producer에 대해 알아봤습니다. 혹시 놓치신 분들은 아래 링크를 통해 학any-ting.tistory.com 트랜잭션 API이전 시간에는 멱등성 옵션을 활용해서 중복 없는 전송에 대해 알아봤습니다. PID(Producer Id) 값과 메시지 번호를 통해 메시지를 비교해 중복 메시지 처..

개요안녕하세요. 이번 시간에는 Kafka를 사용하면서 중복 없는 메시지 전송 방식에 대해 알아보겠습니다. 이전 시간에 Kafka Producer에 대해 알아봤습니다. 혹시 놓치신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다. [Kafka] - Kafka Producer 메시지 생성 [Kafka] - Kafka Producer 메시지 생성개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신any-ting.tistory.com  개념Kafka를 사용하다 보면 자주 고려해야 하는 상황이 있습니다. 메시지가 중복으로 발송되면 어떻게 처리하지?.....

개요안녕하세요. 이번 시간에는 파티셔너(partitioner)와 메시지 발송 전략에 대해 알아보겠습니다. 혹시 Producer에 대한 개념을 놓치고 오셨다면 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Kafka Producer 메시지 생성 [Kafka] - Kafka Producer 메시지 생성개요안녕하세요. 이번 시간에는 Kafka Producer의 대해 알아보겠습니다. 지난 시간에 로컬환경에 Kafka를 설치한 후 간단한 메시지를 생성하고 소비하는 방법에 대해 알아봤습니다.혹시 놓치고 오신any-ting.tistory.com  파티셔너(Partitioner)Kafka 프로듀서에서 파티셔너는 특정 메시지가 어느 파티션에 기록될지를 결정하는 역할을 합니다.Kafka의 각 토픽..

개요안녕하세요. 이번 시간에는 로그 세그먼트 관리 방식에 대해 알아보겠습니다. 카프카의 토픽으로 들어오는 메시지(or 레코드 Record)는 세그먼트(Segment) 또는 로그 세그먼트(Log segment)라는 파일에 저장됩니다. 실제 메시지 내용만 저장되는 게 아닌 메시지 키, 값, 오프셋, 메시지 크기 같은 정보도 같이 저장되며, 중개인의 로컬 디스크에 보관됩니다. xxx.index, xxx.log, xxx.timeindex, leader-epoch-checkpoint 파일을 보관합니다. xxx.index : 로그 세그먼트에 저장된 위치와 오프셋 정보를 기록하는 파일xxx.log : 실제 메시지들이 저장되는 파일xxx.timeindex : 메시지의 타임스탬프를 기록하는 파일leader-epoch-c..

개요안녕하세요. 이번 시간에는 Broker 컨트롤러에 대해 알아보겠습니다. 지난 시간 내용을 학습하고 오지 않으신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Broker 리더 에포크 [Kafka] - Broker 리더 에포크개요안녕하세요. 이번 시간에는 브로커에 리플리케이션 복구 전략으로 리더에 포크라는 개념에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오시지 못 하신 분들은 아래 링크를any-ting.tistory.com Broker 컨트롤러카프카 클러스터 환경에서는 리더와 팔로워로 구성되어 있습니다. 그럼 여기서 리더를 지정하는 방법은 무엇일까요? 기본적으로 컨트롤러 선출 방법은 ISR 리스트 목록에서 특정 브로커를 지정합니다. 파티션의 ISR 리스트 ..

개요안녕하세요. 이번 시간에는 브로커에 리플리케이션 복구 전략으로 리더에 포크라는 개념에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오시지 못 하신 분들은 아래 링크를 통해 학습하고 오시는 걸 추천드리겠습니다.[Kafka] - Broker 리플리케이션(Replication) 동작 원리 [Kafka] - Broker 리플리케이션(Replication) 동작 원리개요안녕하세요. 이번 시간에는 브로커 리더와 팔로워 사이에 메시지를 복제하는 동작 원리에 대해 알아보겠습니다. 혹시 이전 시간에 내용을 학습하고 오지 못하신 분들은 아래 링크를 통해any-ting.tistory.com 리더 에포크(Leader Epoch)리더 에포크는 카프카의 파티션들이 복구 동작을 할 때 메시지 일관성을 유지하기 위한 ..