[Project] HA-HY-PIPE - 데이터 분석

이번 포스팅은 HA-HY-PIPE 프로젝트에서 실시간 리뷰 분석 서비스를 위해 구성한 내용을 다루고있습니다. 저희 프로젝트는 LLM을 사용한 분석 서비스이다 보니 LLM 사용 비용이 가장 큰 문제였는데 이런 문제를 어떻게 해결했고 어떤 구성으로 데이터 분석을 진행했는지 정리했습니다.이전 포스팅에서 이어집니다.https://tjlog-tistory.tistory.com/128 [Project] HA-HY-PIPE - 데이터 처리이번 포스팅은 HA-HY-PIPE 프로젝트에서 어떻게 데이터 처리를 했는지, 어떤 문제가 발생했고 어떻게 해결했는지 정리한 글입니다.이전 포스팅에서 이어집니다.https://tjlog-tistory.tistory.com/126 [Project]tjlog-tistory.tistory...

• format_list_bulleted Project
• · 2026. 1. 28.
• textsms

[Project] HA-HY-PIPE - 데이터 처리

이번 포스팅은 HA-HY-PIPE 프로젝트에서 어떻게 데이터 처리를 했는지, 어떤 문제가 발생했고 어떻게 해결했는지 정리한 글입니다.이전 포스팅에서 이어집니다.https://tjlog-tistory.tistory.com/126 [Project] HA-HY-PIPE - 데이터 수집데이터 엔지니어링 프로젝트를 진행하며 가장 어렵게 느꼈던 부분은 분석이나 모델링이 아니라, 데이터를 수집하는 과정이었습니다. 개인 프로젝트에서는 실제 서비스 환경과 달리 이미 정제tjlog-tistory.tistory.com 1. 데이터 처리 목표저희 시스템의 일반적인 운영 상황에서 발생하는 데이터 양은 초당 500kb~1mb 정도 수집되었고 해당 데이터를 실시간 분석하기 위해 처리가 필요했습니다. 이를 위해 저희는 다음과 같은..

• format_list_bulleted Project
• · 2026. 1. 27.
• textsms

[Project] HA-HY-PIPE - 데이터 수집

데이터 엔지니어링 프로젝트를 진행하며 가장 어렵게 느꼈던 부분은 분석이나 모델링이 아니라, 데이터를 수집하는 과정이었습니다. 개인 프로젝트에서는 실제 서비스 환경과 달리 이미 정제된 데이터가 제공되지 않기 때문에, 분석 이전에 "어떤 데이터를, 어떤 방식으로 확할 것인가"를 먼저 고민해야 했습니다. DE Toy Procjet에서 부터 이어져온 해당 프로젝트는 이커머스 도메인을 선택했고, 그 중 국내에서 많은 데이터를 보유한 쿠팡의 상품 리뷰를 분석 대상으로 삼았습니다. 다만 쿠팡은 자동화된 접근에 대해 명확한 제한을 두고 있으며, 크롤링 환경에서 이러한 제약이 상당히 큰 장벽으로 작용했습니다. 그럼에도 본 프로젝트를 진행한 이유는 상업적 목적이 아닌 데이터 엔지니어링 기술 학습을 위한 개인 프로젝트였기 ..

• format_list_bulleted Project
• · 2026. 1. 26.
• textsms

[Project] HA-HY-PIPE - 아키텍처 설계

HA-HY-PIPE 프로젝트를 진행하면서 주기적으로 포스팅하려고 했지만 신경을 못써서 개인 노션에만 작성하고 포스팅하지 못했습니다. 현재 취업을 준비하면서 당시 진행했던 프로젝트를 회고하고 아쉬웠던 점과 개선할점이 무엇인지 정리하고 싶어 늦게나마 작성해보려고합니다. 전체적인 시스템 및 데이터 파이프라인 설명과 제가 맡은 데이터 수집, 저장, 분석, 실시간 스트리밍 전송, 오케스트레이션 까지 어떻게 구성했는지 차근차근 정리해보겠습니다. 아키텍처 설계 목표저희 프로젝트는 HA(고가용성), HY(하이브리드) 파이프라인을 만드는 것을 목표로했습니다.저희는 더 나아가 많은 사용자가 안정적으로 사용할 수 있는 대규모 서비스를 만들고자 했습니다. 이를 위해 아키텍처를 설계 시 다음과 같은 목표를 세우게 되었습니다.실..

• format_list_bulleted Project
• · 2026. 1. 20.
• textsms

[Kafka] EKS에서 Strimzi Kafka Connect와 S3 Sink Connector 설정 및 트러블슈팅

1. 기본 환경 설정최종 구성Kafka 클러스터는 EKS 위에 Strimzi Operator를 이용해 구성하였고, 여기에 Kafka Connect와 Confluent S3 Sink Connector를 배포하여 데이터를 실시간으로 S3로 적재하는 구조를 만들었다. 구성은 크게 세 부분으로 나눌 수 있다.Kafka Connect 설정S3 Sink Connector 설정EKS Pod Identity를 통한 권한 관리1. 1 Kafka Connect 설정Kafka Connect는 Strimzi KafkaConnect CRD로 배포하였다. Confluent S3 Sink 플러그인을 직접 포함한 이미지를 빌드하고, DockerHub에 푸시하여 사용했다.apiVersion: kafka.strimzi.io/v1beta..

• format_list_bulleted Data Engineering/Kafka
• · 2025. 9. 9.
• textsms

[Airflow] Airflow On Kubernetes - Airflow API 서버 CrashLoopBackOFF 원인 찾기

안녕하세요! 최근 Airflow Helm Chart를 사용하여 GKE(Google Kubernetes Engine)에 Airflow를 배포하면서 겪었던 흥미로운 문제 해결 과정을 공유하려고 합니다. 배포 과정에서 airflow-api-server Pod가 계속해서 CrashLoopBackOff 상태에 빠지는 문제가 발생했는데요. 해당 문제를 해결해 가는 과정을 단계별로 정리했습니다. 문제: Pod의 무한 재시작kubectl get po 명령어를 실행했을 때, airflow-api-server Pod의 STATUS가 Running으로 표시되지만 READY 상태가 0/1이고, RESTARTS 카운트가 계속 올라가는 현상이 발생했습니다. 이는 Pod 내부의 컨테이너가 정상적으로 시작되지 못하고 계속 충돌하고 ..

• format_list_bulleted Data Engineering/Airflow
• · 2025. 8. 18.
• textsms