지난 포스팅에서 이어집니다. 개인 프로젝트(DE Toy Project)를 진행하다가 운이 좋게 클라우드 아키텍처 솔루션 교육과정의 팀 프로젝트에서 개인 프로젝트를 Hybrid Cloud를 이용한 서비스로 확장 시킬 수 있었습니다. 하지만 기간이 정해져있어 제한 시간안에 서비스를 구현하는 것이 1순위였기에 데이터 처리 및 분석 작업을 심도있게 다루지 못하고 여러모로 아쉬운점이 있었습니다. 그래서 이번 포스팅은 팀 프로젝트 이후 지금까지 작업한 내용을 검토해보고 개선할 점과 앞으로 진행할 내용에 대해 작성해보겠습니다. 프로젝트 돌아보기지금까지 진행한 내용실시간 대규모 데이터 ETL과 분석경험을 위해 data(쿠팡 상품과 리뷰정보) ETL 및 분석 pipeline 구축을 목표로 프로젝트를 진행함차단 우회 및..
Docker를 활용한 애플리케이션 배포는 오늘날 많은 개발 환경에서 표준으로 자리 잡고 있습니다. 그 중심에 있는 것이 바로 Dockerfile입니다. 이 글에서는 Dockerfile이 무엇인지, 어떤 식으로 작성하고 사용하는지에 대해 간단히 정리해보겠습니다. Dockerfile이란?Dockerfile은 Docker 이미지를 빌드하기 위한 스크립트 파일입니다. 이미지 생성 과정에서 실행해야 할 명령들을 순차적으로 기술함으로써, 컨테이너 환경 구성을 자동화할 수 있습니다. 수동으로 설치하고 구성하는 과정을 반복하지 않아도 되므로, 일관성과 재현성이 확보되는 장점이 있습니다. 주요 명령어 정리Dockerfile은 다양한 명령어로 구성됩니다. 자주 사용하는 명령어들을 아래와 같이 정리할 수 있습니다FROM이미..
Docker ImageDcoker Hub에서 이미지 검색주요 옵션--no-trunc: 결과 모두 표시--limit: 최대 검색 결과 수--filter-starts=n: 별표가 n개 이상인 것만 표시# 기본 구문docker search [옵션] 이미지 키워드# 사용 예시docker search nginxdocker search ubuntu 레지스트리에서 이미지 가져오기주요 옵션--all-tags, -a: 저장소에서 태그가 지정된 이미지를 모두 다운로드--disable-content-trust: 이미지 확인 건너 뛰기# 기본 구문docker image pull [옵션] 이미지명 [:태그명]# 사용 예시docker image pull nginx 이미지 목록 보기주요 옵션--no-trunc: 결과 모두 표시--..
Docker & Container 이해하기Docker & Container 란?Docker란?Docker는 애플리케이션의 실행에 필요한 환경을 하나의 이미지로 모아두고, 그 이미지를 사용하여 다양한 환경에서 애플리케이션 실행 환경을 구축 및 운용하기 위한 오픈소스 플랫폼입니다.컨테이너란?Docker 이미지로 부터 생성되며, 호스트 OS상에 논리적인 구획을 만들고, 애플리케이션을 작동시키기 위해 필요한 라이브러리나 애플리케이션을 등을 하나로 모아, 마치 별도의 서버인 것처럼 사용할 수 있게 만든 것입니다.호스트 OS의 리소스를 논리적으로 분리시키고, 여러 개의 컨테이너가 공유하여 사용함컨테이너는 오버헤드가 적기 때문에 가볍고 고속으로 작동 함 (시작 및 종료 사용되는 리소스 작음) 가상화 기술과 컨테이너 ..