[Project] 실시간 쿠팡 리뷰 분석 with Hybrid Cloud (클라우드 아키텍쳐 솔루션 교육과정)

클라우드 아키텍쳐 솔루션 교육 과정 중 팀프로젝트를 진행하게 됐습니다.주제선정 회의 때 개인적으로 진행한 실시간 쿠팡 리뷰 분석(DE Toy Project)을 하이브리드 클라우드 환경으로 만들어보자는 얘기가 나왔습니다.당시 쿠팡 크롤링을 한창 테스트 하고 있을 때였고, 웹과 클라우드 환경을 구성해야 했던 저로서는 협업할 수 있는 좋은 기회를 가질 수 있었습니다. 그럼 10일 간 진행한 팀프로젝트 내용을 공유드리겠습니다. 프로젝트 소개주제하이브리드 클라우드로 구성한 실시간 쿠팡 리뷰 분석 목표하이브리드 클라우드 구성로컬 서버와 GCP 연동을 통한 유연한 자원 분배보안과 고가용성을 위한 구성데이터 파이프라인 구성크롤링 서버 + API 연동 구조, 백엔드 연계 처리실시간 데이터 ETL 및 분석검색 / 분석 ..

• format_list_bulleted Project
• · 2025. 7. 1.
• textsms

[Docker] Docker 명령어 정리

Docker ImageDcoker Hub에서 이미지 검색주요 옵션--no-trunc: 결과 모두 표시--limit: 최대 검색 결과 수--filter-starts=n: 별표가 n개 이상인 것만 표시# 기본 구문docker search [옵션] 이미지 키워드# 사용 예시docker search nginxdocker search ubuntu 레지스트리에서 이미지 가져오기주요 옵션--all-tags, -a: 저장소에서 태그가 지정된 이미지를 모두 다운로드--disable-content-trust: 이미지 확인 건너 뛰기# 기본 구문docker image pull [옵션] 이미지명 [:태그명]# 사용 예시docker image pull nginx 이미지 목록 보기주요 옵션--no-trunc: 결과 모두 표시--..

• format_list_bulleted Infra
• · 2025. 7. 1.
• textsms

[Docker] Docker와 Container에 대해 이해하기

Docker & Container 이해하기Docker & Container 란?Docker란?Docker는 애플리케이션의 실행에 필요한 환경을 하나의 이미지로 모아두고, 그 이미지를 사용하여 다양한 환경에서 애플리케이션 실행 환경을 구축 및 운용하기 위한 오픈소스 플랫폼입니다.컨테이너란?Docker 이미지로 부터 생성되며, 호스트 OS상에 논리적인 구획을 만들고, 애플리케이션을 작동시키기 위해 필요한 라이브러리나 애플리케이션을 등을 하나로 모아, 마치 별도의 서버인 것처럼 사용할 수 있게 만든 것입니다.호스트 OS의 리소스를 논리적으로 분리시키고, 여러 개의 컨테이너가 공유하여 사용함컨테이너는 오버헤드가 적기 때문에 가볍고 고속으로 작동 함 (시작 및 종료 사용되는 리소스 작음) 가상화 기술과 컨테이너 ..

• format_list_bulleted Infra
• · 2025. 6. 30.
• textsms

[Project] DE Toy Project - 데이터 분석(분석 모델 테스트)

지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(쿠팡 크롤링과 병렬 처리) 3지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(쿠팡 상품 리뷰 크롤링) 1지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(네이버 쇼핑 리뷰 크롤링 삽질하기)1. 프tjlog-tistory.tistory.com 지난 포스팅에 이어 이번에는 크롤링한 데이터를 요약하고 감정 분석하는 모델을 찾고, 직접 테스트해본 결과를 공유합니다. 1. 목표1.1 프로젝트 전체 목표이번 프로젝트는 쿠팡 상품의 기본 정보 및 리뷰 데이터를 수집하여, 이후 텍스트 분석을 위한 데이터 파이프라인을 구축하는 과정을 정리한 기록입..

• format_list_bulleted Project
• · 2025. 6. 25.
• textsms

[Project] DE Toy Project - 데이터 수집(쿠팡 크롤링과 병렬 처리) 3

지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(쿠팡 상품 리뷰 크롤링) 1지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(네이버 쇼핑 리뷰 크롤링 삽질하기)1. 프로젝트 주제이번 프로젝트의 목표는 사용자가 검색한 상품에 대한 준 실시간 리뷰 요약tjlog-tistory.tistory.com 이번 포스팅에서는 쿠팡 크롤링과 병렬 처리를 구현한 내용과 소소한 팁을 작성했습니다. 1. 프로젝트 목표이번 프로젝트는 쿠팡 상품의 기본 정보 및 리뷰 데이터를 수집하여, 이후 텍스트 분석을 위한 데이터 파이프라인을 구축하는 과정을 정리한 기록입니다. 단순 크롤링이 아닌 병렬 처리, 데이터 저장, 후속 분석 작업까지 연결된 전체 흐름을..

• format_list_bulleted Project
• · 2025. 6. 24.
• textsms

[Project] DE Toy Project - 데이터 수집(쿠팡 상품 리뷰 크롤링) 2

지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(네이버 쇼핑 리뷰 크롤링 삽질하기)1. 프로젝트 주제이번 프로젝트의 목표는 사용자가 검색한 상품에 대한 준 실시간 리뷰 요약 및 감정 분석 시스템을 만드는 것이다.단순한 데이터 분석이 아닌, 실제 웹에서 데이터를 수집하고tjlog-tistory.tistory.com 이번 포스팅에서는 쿠팡 상품 리뷰를 크롤링하며 겪은 내용과 고민들을 작성했습니다. 1. 프로젝트 목표이번 프로젝트의 목표는 사용자가 검색한 상품에 대한 준 실시간 리뷰 요약 및 감정 분석 시스템을 만드는 것입니다.단순한 데이터 분석이 아닌, 실제 웹에서 데이터를 수집하고 처리하는 ETL 흐름까지 구현하고자 했습니다. 2. 데이터 수집 목표준실시간성을 고려..

• format_list_bulleted Project
• · 2025. 6. 5.
• textsms