최신 글
기술과 일상을 함께 기록합니다.
Kafka에 Spark 스트리밍 연결
Kafka 데이터를 Spark Structured Streaming으로 읽는 흐름을 살펴보고, 오프셋·체크포인트·출력 저장소의 복구 역할을 구분한다.
kafka에 Storm 연결하기
KafkaSpout에서 Bolt로 메시지가 전달되는 과정을 따라가며, 커넥터 설정과 오프셋·재처리·중복 처리 문제를 살펴본다.
Kafka REST Proxy
Confluent REST Proxy의 HTTP API로 Kafka 메시지를 보내고 구독·조회하며, 컨슈머 정리와 v2·v3의 차이를 살펴본다.
[Kafka] 8. Spring Boot를 이용한 Kafka API 구축
Spring Boot에서 Kafka 메시지를 발행·소비하는 API를 구성하고, HTTP 응답과 비동기 메시지 처리 시점의 차이를 살펴본다.
[Kafka] 7. Apache Flume
Flume의 Source·Channel·Sink를 따라 로그가 이동하는 흐름을 이해하고, Kafka 연동 설정과 결과 확인 방법을 살펴본다.
[Kafka] Intro. Message System
Messaging System은 하나의 프로그램에서 다른 프로그램으로 데이터를 전달할 수 있도록 돕는 시스템이다.
[Kafka] 4. Kafka Cluster
브로커·컨트롤러·파티션 복제의 역할을 구분하고, 3노드 KRaft 실습으로 리더 장애와 ISR 변화를 확인한다.
[Kafka]0. Zookeeper 개념
ZooKeeper의 znode·세션·앙상블이 분산 상태를 조정하는 방식을 설명하고, Kafka의 ZooKeeper 모드와 KRaft를 구분한다.
[Kafka] 6. kafka Stream
Kafka Streams의 스트림 처리 개념을 익히고, Pipe와 WordCount 예제로 토픽 간 전달과 단어 집계의 차이를 확인한다.
[Kafka] 5. kafka topic message 처리하기
Kafka 메시지를 숫자 범위에 따라 유효·무효 토픽으로 나누고, 전송 성공 확인과 오프셋 커밋 사이의 실패를 살펴본다.
[Kafka] 3. kafka Producer And Consumer API
Java Kafka 클라이언트의 프로듀서·컨슈머 설정을 살펴보고, 토픽에 레코드를 보내고 읽는 API 사용 예제를 따라간다.
[Kafka] 2. kafka QuickStart
Kafka 서버 실행부터 토픽 생성과 메시지 송수신까지 실습하고, 과거 ZooKeeper 방식과 KRaft 시작 절차를 구분한다.