[Project] DE Pro Project (HighPipe) - 프로젝트 개요와 PRD

소비자들은 상품을 구매할 때 리뷰를 꼼꼼하게 살피지만, 방대한 양의 리뷰를 일일이 읽고 핵심을 파악하기란 쉽지 않습니다. 판매자 역시 시장의 흐름을 파악하고 마케팅 전략을 세우는 데 어려움을 겪곤 하죠. 저희 팀은 이러한 불편함을 해소하고자 "상품 리뷰 기반 실시간 감정 분석 및 요약 서비스"를 기획했습니다.이 서비스는 사용자가 원하는 상품의 리뷰를 실시간으로 수집하고, LLM(대규모 언어 모델)을 활용해 감정 분석과 핵심 요약까지 제공하는 것을 목표로 합니다. 나아가 관심 상품의 가격 변동이나 리뷰 변화 추이까지 한눈에 파악할 수 있는 기능까지 포함하는 종합적인 서비스가 될 것입니다.저희는 고가용성 서비스 운영 및 기존 pipeline을 고도화한다는 의미를 담은 HighPipe로 프로젝트 명을 정했습니..

• format_list_bulleted Project
• · 2025. 8. 3.
• textsms

[Project] DE Toy Project에서 DE Pro Project로

1. DE Pro Project의 시작DE Toy Project 고도화를 위한 기능 설계 이후 새로운 기술 스택을 배우는 시간을 가졌습니다. Kubernetes, Kafka, Spark등의 새로운 기술을 배우고 실습을 진행했습니다. 그렇게 시간이 흘러 KOSA에서 수강중인 Cloud Solution Architect 과정 중 final project를 진행하게 되었습니다. 해당 교육과정의 semi project로 Hybrid cloud를 구축하는 team project를 진행했습니다. 이번 final project는 해당 프로젝트에서 발전시켜 aws환경에서 EKS(Kubernetes)와 CI/CD 접목한 data pipeline 자동화를 구축하기로 했습니다. 사실 그전에도 DE Toy Project를 하..

• format_list_bulleted Project
• · 2025. 7. 28.
• textsms

[Project] DE Toy Project - 데이터 파이프라인 고도화를 위한 기능 설계

지난 포스팅에서는 DE Toy Project를 기반으로 진행한 팀프로젝트에 대한 회고를 하고 개선방향을 설정했습니다. 이번 포스팅에서는 개선방향을 토대로 데이터 파이프라인 고도화와 새로운 기능을 추가하기 위해 구체화 해보는 시간을 가지겠습니다. 실시간 분석 기능기술 스택Python + SeleniumKafkaFlink OR Spark Structured Streaming기능 1. 특정 상품 실시간 분석기능 설명사용자가 원하는 단일 상품에 대한 상품 리뷰를 실시간으로 ETL 및 분석을 진행동작 흐름사용자가 특정 상품 클릭 or 상품 실시간 리뷰 클릭 로컬 크롤링 서버에서 해당 상품 리뷰를 멀티프로세싱으로 수집수집된 리뷰는 Kafka에 전송Flink 또는 Spark Structured Streaming으로 ..

• format_list_bulleted Project
• · 2025. 7. 17.
• textsms

[Project] DE Toy Project - 팀 프로젝트 회고 및 고도화 계획

지난 포스팅에서 이어집니다. 개인 프로젝트(DE Toy Project)를 진행하다가 운이 좋게 클라우드 아키텍처 솔루션 교육과정의 팀 프로젝트에서 개인 프로젝트를 Hybrid Cloud를 이용한 서비스로 확장 시킬 수 있었습니다. 하지만 기간이 정해져있어 제한 시간안에 서비스를 구현하는 것이 1순위였기에 데이터 처리 및 분석 작업을 심도있게 다루지 못하고 여러모로 아쉬운점이 있었습니다. 그래서 이번 포스팅은 팀 프로젝트 이후 지금까지 작업한 내용을 검토해보고 개선할 점과 앞으로 진행할 내용에 대해 작성해보겠습니다. 프로젝트 돌아보기지금까지 진행한 내용실시간 대규모 데이터 ETL과 분석경험을 위해 data(쿠팡 상품과 리뷰정보) ETL 및 분석 pipeline 구축을 목표로 프로젝트를 진행함차단 우회 및..

• format_list_bulleted Project
• · 2025. 7. 3.
• textsms

[Project] 실시간 쿠팡 리뷰 분석 with Hybrid Cloud (클라우드 아키텍쳐 솔루션 교육과정)

클라우드 아키텍쳐 솔루션 교육 과정 중 팀프로젝트를 진행하게 됐습니다.주제선정 회의 때 개인적으로 진행한 실시간 쿠팡 리뷰 분석(DE Toy Project)을 하이브리드 클라우드 환경으로 만들어보자는 얘기가 나왔습니다.당시 쿠팡 크롤링을 한창 테스트 하고 있을 때였고, 웹과 클라우드 환경을 구성해야 했던 저로서는 협업할 수 있는 좋은 기회를 가질 수 있었습니다. 그럼 10일 간 진행한 팀프로젝트 내용을 공유드리겠습니다. 프로젝트 소개주제하이브리드 클라우드로 구성한 실시간 쿠팡 리뷰 분석 목표하이브리드 클라우드 구성로컬 서버와 GCP 연동을 통한 유연한 자원 분배보안과 고가용성을 위한 구성데이터 파이프라인 구성크롤링 서버 + API 연동 구조, 백엔드 연계 처리실시간 데이터 ETL 및 분석검색 / 분석 ..

• format_list_bulleted Project
• · 2025. 7. 1.
• textsms

[Project] DE Toy Project - 데이터 분석(분석 모델 테스트)

지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(쿠팡 크롤링과 병렬 처리) 3지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(쿠팡 상품 리뷰 크롤링) 1지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(네이버 쇼핑 리뷰 크롤링 삽질하기)1. 프tjlog-tistory.tistory.com 지난 포스팅에 이어 이번에는 크롤링한 데이터를 요약하고 감정 분석하는 모델을 찾고, 직접 테스트해본 결과를 공유합니다. 1. 목표1.1 프로젝트 전체 목표이번 프로젝트는 쿠팡 상품의 기본 정보 및 리뷰 데이터를 수집하여, 이후 텍스트 분석을 위한 데이터 파이프라인을 구축하는 과정을 정리한 기록입..

• format_list_bulleted Project
• · 2025. 6. 25.
• textsms