최신 글
기술과 일상을 함께 기록합니다.
기술데이터 › 메시징 › Kafka
Kafka에 Spark 스트리밍 연결
Kafka 데이터를 Spark Structured Streaming으로 읽는 흐름을 살펴보고, 오프셋·체크포인트·출력 저장소의 복구 역할을 구분한다.
· 5분 읽기
기술데이터 › 메시징 › Kafka
kafka에 Storm 연결하기
KafkaSpout에서 Bolt로 메시지가 전달되는 과정을 따라가며, 커넥터 설정과 오프셋·재처리·중복 처리 문제를 살펴본다.
· 3분 읽기
기술인프라 › 컨테이너 › Docker
8. Docker compose를 이용하여 Kafka Confluent 설치
Docker Compose로 Confluent Kafka를 실행하고, 과거 ZooKeeper 구성과 KRaft 단일 브로커의 로컬 실습 설정을 비교한다.
· 3분 읽기
기술데이터 › 메시징 › Kafka
Kafka REST Proxy
Confluent REST Proxy의 HTTP API로 Kafka 메시지를 보내고 구독·조회하며, 컨슈머 정리와 v2·v3의 차이를 살펴본다.
· 3분 읽기
기술데이터 › 메시징 › Kafka
[Kafka] 8. Spring Boot를 이용한 Kafka API 구축
Spring Boot에서 Kafka 메시지를 발행·소비하는 API를 구성하고, HTTP 응답과 비동기 메시지 처리 시점의 차이를 살펴본다.
· 6분 읽기
기술데이터 › 메시징 › Kafka
[Kafka] 7. Apache Flume
Flume의 Source·Channel·Sink를 따라 로그가 이동하는 흐름을 이해하고, Kafka 연동 설정과 결과 확인 방법을 살펴본다.
· 3분 읽기
기술데이터 › 메시징 › Kafka
[Kafka]0. Zookeeper 개념
ZooKeeper의 znode·세션·앙상블이 분산 상태를 조정하는 방식을 설명하고, Kafka의 ZooKeeper 모드와 KRaft를 구분한다.
· 2분 읽기
기술데이터 › 메시징 › Kafka
[Kafka] 6. kafka Stream
Kafka Streams의 스트림 처리 개념을 익히고, Pipe와 WordCount 예제로 토픽 간 전달과 단어 집계의 차이를 확인한다.
· 5분 읽기
기술데이터 › 메시징 › Kafka
[Kafka] 3. kafka Producer And Consumer API
Java Kafka 클라이언트의 프로듀서·컨슈머 설정을 살펴보고, 토픽에 레코드를 보내고 읽는 API 사용 예제를 따라간다.
· 7분 읽기