TJ_Log
close
프로필 배경
프로필 로고

TJ_Log

  • 분류 전체보기 (101)
    • Data Engineering (30)
      • Data Engineering? (2)
      • Hadoop (3)
      • Elasticsearch (0)
      • Redis (4)
      • Spark (6)
      • Kafka (5)
      • Airflow (2)
      • DB (2)
      • 자격증 (6)
    • Data Analysis (2)
      • Machine Learning(ML) (1)
      • NLP (1)
    • Infra (9)
    • ETC (19)
      • Network (1)
      • Linux (4)
      • Algorithm (3)
      • Spring (3)
      • Python (2)
      • Scala (2)
      • Java (3)
      • Javascript (1)
    • Project (9)
    • Trouble shooting (2)
    • Experience (1)
    • Programmers TIL (28)
      • Algorithm (8)
  • 홈
  • 태그
  • 방명록
[Project] 실시간 쿠팡 리뷰 분석 with Hybrid Cloud (클라우드 아키텍쳐 솔루션 교육과정)

[Project] 실시간 쿠팡 리뷰 분석 with Hybrid Cloud (클라우드 아키텍쳐 솔루션 교육과정)

클라우드 아키텍쳐 솔루션 교육 과정 중 팀프로젝트를 진행하게 됐습니다.주제선정 회의 때 개인적으로 진행한 실시간 쿠팡 리뷰 분석(DE Toy Project)을 하이브리드 클라우드 환경으로 만들어보자는 얘기가 나왔습니다.당시 쿠팡 크롤링을 한창 테스트 하고 있을 때였고, 웹과 클라우드 환경을 구성해야 했던 저로서는 협업할 수 있는 좋은 기회를 가질 수 있었습니다. 그럼 10일 간 진행한 팀프로젝트 내용을 공유드리겠습니다. 프로젝트 소개주제하이브리드 클라우드로 구성한 실시간 쿠팡 리뷰 분석 목표하이브리드 클라우드 구성로컬 서버와 GCP 연동을 통한 유연한 자원 분배보안과 고가용성을 위한 구성데이터 파이프라인 구성크롤링 서버 + API 연동 구조, 백엔드 연계 처리실시간 데이터 ETL 및 분석검색 / 분석 ..

  • format_list_bulleted Project
  • · 2025. 7. 1.
  • textsms

[Docker] Docker 명령어 정리

Docker ImageDcoker Hub에서 이미지 검색주요 옵션--no-trunc: 결과 모두 표시--limit: 최대 검색 결과 수--filter-starts=n: 별표가 n개 이상인 것만 표시# 기본 구문docker search [옵션] 이미지 키워드# 사용 예시docker search nginxdocker search ubuntu 레지스트리에서 이미지 가져오기주요 옵션--all-tags, -a: 저장소에서 태그가 지정된 이미지를 모두 다운로드--disable-content-trust: 이미지 확인 건너 뛰기# 기본 구문docker image pull [옵션] 이미지명 [:태그명]# 사용 예시docker image pull nginx 이미지 목록 보기주요 옵션--no-trunc: 결과 모두 표시--..

  • format_list_bulleted Infra
  • · 2025. 7. 1.
  • textsms
[Docker] Docker와 Container에 대해 이해하기

[Docker] Docker와 Container에 대해 이해하기

Docker & Container 이해하기Docker & Container 란?Docker란?Docker는 애플리케이션의 실행에 필요한 환경을 하나의 이미지로 모아두고, 그 이미지를 사용하여 다양한 환경에서 애플리케이션 실행 환경을 구축 및 운용하기 위한 오픈소스 플랫폼입니다.컨테이너란?Docker 이미지로 부터 생성되며, 호스트 OS상에 논리적인 구획을 만들고, 애플리케이션을 작동시키기 위해 필요한 라이브러리나 애플리케이션을 등을 하나로 모아, 마치 별도의 서버인 것처럼 사용할 수 있게 만든 것입니다.호스트 OS의 리소스를 논리적으로 분리시키고, 여러 개의 컨테이너가 공유하여 사용함컨테이너는 오버헤드가 적기 때문에 가볍고 고속으로 작동 함 (시작 및 종료 사용되는 리소스 작음) 가상화 기술과 컨테이너 ..

  • format_list_bulleted Infra
  • · 2025. 6. 30.
  • textsms

[Project] DE Toy Project - 데이터 분석(분석 모델 테스트)

지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(쿠팡 크롤링과 병렬 처리) 3지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(쿠팡 상품 리뷰 크롤링) 1지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(네이버 쇼핑 리뷰 크롤링 삽질하기)1. 프tjlog-tistory.tistory.com 지난 포스팅에 이어 이번에는 크롤링한 데이터를 요약하고 감정 분석하는 모델을 찾고, 직접 테스트해본 결과를 공유합니다. 1. 목표1.1 프로젝트 전체 목표이번 프로젝트는 쿠팡 상품의 기본 정보 및 리뷰 데이터를 수집하여, 이후 텍스트 분석을 위한 데이터 파이프라인을 구축하는 과정을 정리한 기록입..

  • format_list_bulleted Project
  • · 2025. 6. 25.
  • textsms

[Project] DE Toy Project - 데이터 수집(쿠팡 크롤링과 병렬 처리) 3

지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(쿠팡 상품 리뷰 크롤링) 1지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(네이버 쇼핑 리뷰 크롤링 삽질하기)1. 프로젝트 주제이번 프로젝트의 목표는 사용자가 검색한 상품에 대한 준 실시간 리뷰 요약tjlog-tistory.tistory.com 이번 포스팅에서는 쿠팡 크롤링과 병렬 처리를 구현한 내용과 소소한 팁을 작성했습니다. 1. 프로젝트 목표이번 프로젝트는 쿠팡 상품의 기본 정보 및 리뷰 데이터를 수집하여, 이후 텍스트 분석을 위한 데이터 파이프라인을 구축하는 과정을 정리한 기록입니다. 단순 크롤링이 아닌 병렬 처리, 데이터 저장, 후속 분석 작업까지 연결된 전체 흐름을..

  • format_list_bulleted Project
  • · 2025. 6. 24.
  • textsms
[Project] DE Toy Project - 데이터 수집(쿠팡 상품 리뷰 크롤링) 2

[Project] DE Toy Project - 데이터 수집(쿠팡 상품 리뷰 크롤링) 2

지난 포스팅에서 이어집니다. [Project] DE Toy Project - 데이터 수집(네이버 쇼핑 리뷰 크롤링 삽질하기)1. 프로젝트 주제이번 프로젝트의 목표는 사용자가 검색한 상품에 대한 준 실시간 리뷰 요약 및 감정 분석 시스템을 만드는 것이다.단순한 데이터 분석이 아닌, 실제 웹에서 데이터를 수집하고tjlog-tistory.tistory.com 이번 포스팅에서는 쿠팡 상품 리뷰를 크롤링하며 겪은 내용과 고민들을 작성했습니다. 1. 프로젝트 목표이번 프로젝트의 목표는 사용자가 검색한 상품에 대한 준 실시간 리뷰 요약 및 감정 분석 시스템을 만드는 것입니다.단순한 데이터 분석이 아닌, 실제 웹에서 데이터를 수집하고 처리하는 ETL 흐름까지 구현하고자 했습니다. 2. 데이터 수집 목표준실시간성을 고려..

  • format_list_bulleted Project
  • · 2025. 6. 5.
  • textsms
  • navigate_before
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • ···
  • 17
  • navigate_next
공지사항
전체 카테고리
  • 분류 전체보기 (101)
    • Data Engineering (30)
      • Data Engineering? (2)
      • Hadoop (3)
      • Elasticsearch (0)
      • Redis (4)
      • Spark (6)
      • Kafka (5)
      • Airflow (2)
      • DB (2)
      • 자격증 (6)
    • Data Analysis (2)
      • Machine Learning(ML) (1)
      • NLP (1)
    • Infra (9)
    • ETC (19)
      • Network (1)
      • Linux (4)
      • Algorithm (3)
      • Spring (3)
      • Python (2)
      • Scala (2)
      • Java (3)
      • Javascript (1)
    • Project (9)
    • Trouble shooting (2)
    • Experience (1)
    • Programmers TIL (28)
      • Algorithm (8)
최근 글
인기 글
최근 댓글
태그
  • #dea
  • #spark
  • #data engineering associate
  • #자격증
  • #db
  • #docker
  • #Kafka
  • #scala
  • #RDB
전체 방문자
오늘
어제
전체
Copyright © 쭈미로운 생활 All rights reserved.
Designed by JJuum

티스토리툴바