[Kafka] Kafka 기본 개념 이해하기

Kafka는 대규모 실시간 데이터 스트리밍을 위한 대표적인 분산 메시지 큐 시스템입니다. 이번 포스팅에서는 Kafka의 기본 개념과 구성 요소 등을 살펴보며 Kafka가 왜 실시간 데이터 처리 플랫폼으로 각광받는지 알아봅시다. 1. Kafka Overview1.1 Kafka의 주요 기능Kafka는 다음과 같은 특징을 가진 분산 메시지 큐 시스템입니다:Pub/Sub 모델을 지원하는 구조로 데이터를 생산하는 Publisher와 소비하는 Consumer라고 하는 subscriber로 데이터를 관리하고 처리여러 대의 서버로 구성된 클러스터 기반 아키텍처를 통해 수평 확장 가능Topic 단위로 데이터를 관리하며, Topic은 여러 개의 Partition으로 구성 가능High throughput, Low laten..

• format_list_bulleted Data Engineering/Kafka
• · 2025. 7. 22.
• textsms

[Kafka] 스트리밍 데이터 처리와 Event-Driven Architecture 이해하기

현대의 디지털 서비스는 점점 더 실시간 응답을 요구하고 있습니다. 사용자의 행동, 장비의 센서 데이터, 시스템 로그 등 수많은 정보가 끊임없이 생성되고 있으며, 이를 즉시 처리하고 반응해야만 경쟁력을 유지할 수 있습니다. 이러한 요구를 충족시키기 위해 등장한 것이 이벤트 스트리밍(event streaming)과 이벤트 기반 아키텍처(Event-Driven Architecture)입니다. 이번 글에서는 이벤트 스트리밍의 개념부터, Event-Driven Architecture, 그리고 분산 메시지 큐에 이르기까지 핵심 개념을 정리해 보겠습니다. 1. 스트리밍 데이터 처리의 필요성1.1 이벤트 스트리밍이란?이벤트 스트리밍(event streaming)은 데이터베이스, 센서, 모바일 장치 등에서 발생하는 실..

• format_list_bulleted Data Engineering/Kafka
• · 2025. 7. 22.
• textsms