[Kafka] Kafka 기본 개념 이해하기

Kafka는 대규모 실시간 데이터 스트리밍을 위한 대표적인 분산 메시지 큐 시스템입니다. 이번 포스팅에서는 Kafka의 기본 개념과 구성 요소 등을 살펴보며 Kafka가 왜 실시간 데이터 처리 플랫폼으로 각광받는지 알아봅시다. 1. Kafka Overview1.1 Kafka의 주요 기능Kafka는 다음과 같은 특징을 가진 분산 메시지 큐 시스템입니다:Pub/Sub 모델을 지원하는 구조로 데이터를 생산하는 Publisher와 소비하는 Consumer라고 하는 subscriber로 데이터를 관리하고 처리여러 대의 서버로 구성된 클러스터 기반 아키텍처를 통해 수평 확장 가능Topic 단위로 데이터를 관리하며, Topic은 여러 개의 Partition으로 구성 가능High throughput, Low laten..

• format_list_bulleted Data Engineering/Kafka
• · 2025. 7. 22.
• textsms

[Kafka] 스트리밍 데이터 처리와 Event-Driven Architecture 이해하기

현대의 디지털 서비스는 점점 더 실시간 응답을 요구하고 있습니다. 사용자의 행동, 장비의 센서 데이터, 시스템 로그 등 수많은 정보가 끊임없이 생성되고 있으며, 이를 즉시 처리하고 반응해야만 경쟁력을 유지할 수 있습니다. 이러한 요구를 충족시키기 위해 등장한 것이 이벤트 스트리밍(event streaming)과 이벤트 기반 아키텍처(Event-Driven Architecture)입니다. 이번 글에서는 이벤트 스트리밍의 개념부터, Event-Driven Architecture, 그리고 분산 메시지 큐에 이르기까지 핵심 개념을 정리해 보겠습니다. 1. 스트리밍 데이터 처리의 필요성1.1 이벤트 스트리밍이란?이벤트 스트리밍(event streaming)은 데이터베이스, 센서, 모바일 장치 등에서 발생하는 실..

• format_list_bulleted Data Engineering/Kafka
• · 2025. 7. 22.
• textsms

[CI/CD] CI/CD 파이프라인 이해

CI/CD 란?CI/CD 파이프라인은 소프트웨어 개발에서 코드 작성 → 빌드 → 테스트 → 배포까지의 과정을 자동화함으로써 개발 속도와 품질을 동시에 끌어올리는 핵심 DevOps 전략입니다.CI는 Continuous Integration(지속적 통합)을, CD는 Continuous Delivery(지속적 제공) 또는Continuous Deployment(지속적 배포)를 의미합니다. Continuous Integration (지속적 통합)CI는 여러 개발자들이 작성한 코드를 지속적으로 통합하고, 자동으로 테스트하는 과정입니다. 주요 목표는 개발자들은 코드를 중앙 저장소(git)에 병합하고, 이 과정에서 오류를 즉시 발견하여 빠르게 수정할 수 있도록 하는 것입니다.주요 단계 Build: 코드 변경사항을 감..

• format_list_bulleted Infra
• · 2025. 7. 22.
• textsms

[Project] DE Toy Project - 데이터 파이프라인 고도화를 위한 기능 설계

지난 포스팅에서는 DE Toy Project를 기반으로 진행한 팀프로젝트에 대한 회고를 하고 개선방향을 설정했습니다. 이번 포스팅에서는 개선방향을 토대로 데이터 파이프라인 고도화와 새로운 기능을 추가하기 위해 구체화 해보는 시간을 가지겠습니다. 실시간 분석 기능기술 스택Python + SeleniumKafkaFlink OR Spark Structured Streaming기능 1. 특정 상품 실시간 분석기능 설명사용자가 원하는 단일 상품에 대한 상품 리뷰를 실시간으로 ETL 및 분석을 진행동작 흐름사용자가 특정 상품 클릭 or 상품 실시간 리뷰 클릭 로컬 크롤링 서버에서 해당 상품 리뷰를 멀티프로세싱으로 수집수집된 리뷰는 Kafka에 전송Flink 또는 Spark Structured Streaming으로 ..

• format_list_bulleted Project
• · 2025. 7. 17.
• textsms

[Kubernetes] Kubernetes ConfigMap 및 스토리지 구성 이해하기

1. ConfigMapConfigMap은 Kubernetes에서 애플리케이션의 설정 데이터를 외부화하여 관리할 수 있게 해주는 리소스입니다. 애플리케이션 코드와 구성을 분리함으로써, 배포 환경에 따라 설정을 유연하게 조정할 수 있습니다.주요 특징환경 변수로 주입: 컨테이너 내부에서 환경 변수로 사용할 수 있습니다.볼륨 마운트: 설정 파일처럼 파일 시스템에 마운트하여 애플리케이션이 참조하도록 구성할 수 있습니다.재사용 가능: 여러 Pod에서 동일한 ConfigMap을 참조할 수 있습니다.이미지 설명첫 번째 이미지는 ConfigMap을 생성하고 Pod에서 이를 환경 변수로 사용하는 예시를 보여줍니다.왼쪽은 ConfigMap 정의이며, special.how과 special.type이라는 키를 포함하고 있습니다..

• format_list_bulleted Infra
• · 2025. 7. 16.
• textsms

[Kubernetes] Kubernetes 네트워크 서비스와 파드 연결 방식

Kubernetes 네트워크 서비스와 파드 연결 방식Kubernetes에서 서비스(Service)는 파드(Pod)와 외부 혹은 내부 트래픽 사이를 연결해주는 네트워크 추상화입니다. 파드는 유동적인 IP를 가지기 때문에 직접 접근이 어려우며, 서비스는 이를 해결하기 위해 안정적인 접근 지점과 로드밸런싱 기능을 제공합니다.이번 글에서는 Kubernetes에서 지원하는 대표적인 서비스 타입인 ClusterIP, NodePort, LoadBalancer에 대해 이미지와 함께 알아보겠습니다. 1. 서비스(Service)의 역할서비스는 클러스터 내부 또는 외부의 클라이언트가 파드에 안정적으로 접근할 수 있도록 돕는 네트워크 프록시 역할을 합니다. 주요 기능은 다음과 같습니다:단일 접근 지점 제공: 파드 IP가 동적..

• format_list_bulleted Infra
• · 2025. 7. 15.
• textsms