[Docker] Docker Compose_TIL

Docker-compose.yml 구성 - 다양한 버전이 존재하는데 본 블로그는 v2와 v3가 합쳐진 버전 사용 기준으로 설명함 - services: 다음으로 프로그램을 구성하는 서비스들을 지정 각 서비스는 별개의 Docker Image 지정과 Docker Container 실행으로 구성됨 즉, 각 서비스는 자신의 Dockerfile을 갖고 있어야함 아니면 Docker hub등에서 이미지를 다운로드 서비스별로 포트번호, 환경변수, 디스크 볼륨등을 지정해야함 서비스 이름은 아무 이름이나 가능 - volumes: servieces 에서 사용할 docker volume들을 지정 (해당 내용을 지정해줘야 services에서 사용가능) - networks: servieces 에서 사용할 network들을 지정 (..

• format_list_bulleted Programmers TIL
• · 2023. 6. 15.
• textsms

[Docker] Docker Volume_TIL

Docker Volume의 필요성 - Docker Container가 실행되었다가 중단되면 데이터들은 어떻게 될까? -> 모두 유실됨 - 특정 소프트웨어가 Docker Container를 통해 일회성으로 동작하는 것이 아니라 계속해서 동작해야 한다면 데이터가 영구적으로 보관되어야함 (ex. 데이터베이스가 Docker Container안에서 동작 시) - 이를 보장하는 기능이 Docker volumes -> Data Persistence - Docker Container내의 가상 파일 시스템과 호스트 시스템의 파일 시스템을 맵핑 예) 호스트 파일 시스템의 /home/user/logs를 Docker Container의 /var/lib/airflow/logs로 맵핑 이 경우 Docker Container가 중..

• format_list_bulleted Programmers TIL
• · 2023. 6. 14.
• textsms

[Docker] Docker 명령 정리_TIL

Image 관련 - docker 이미지 build - Mac m1 chip의 경우 아래 명령어 실행 ● docker build --platform=linux/amd64 -t hahxowns/hangman (hahxowns/hangman = docker 이미지 이름) - 설치된 이미지 출력 ● docker images ● docker image ls ● docker image ls -aq - docker image 삭제 ● docker image rm ● docker image rm -f $(docker image ls -aq) Docker Hub 관련 ● docker login -u 사용자ID -p 사용자PW ● docker pull hahxowns/hangman (hahxowns/hangman = do..

• format_list_bulleted Programmers TIL
• · 2023. 6. 14.
• textsms

[Docker] Docker 개발 프로세스_TIL

Dockerfile의 생성 - Docker에거 소프트웨어 설치 명령을 기술 - 베이스 이미지를 기술 (FROM) -> 코드 복사 -> 코드 실행 FROM node:alpine # FROM = OS종류를 적어줌(여기서는 Alpine이라는 경량 리눅스를 데모목적으로 선택) COPY ./app # COPY = 코드 복사에 사용 WORKDIR /app # WORKDIR = Wordking directory를 지정(지정 시 cmd에 경로 적어줄 필요 없음) CMD node app.js # CMD = 실행하는 명령 앞에 지정 - 그 외의 키워드 ARG : Docker Image를 만들 때 사용되는 변수 지정, 최종 이미지에는 안 들어감 ENV : 컨테이너가 실행될 때 사요오디는 환경변수, 최종 이미지에 저장됨 US..

• format_list_bulleted Programmers TIL
• · 2023. 6. 12.
• textsms

[Docker] Docker와 K8s_TIL

Docker와 K8s 필요성 (예시 : Airflow 운영상의 어려움) 데이터 품질이나 데이터 리니지 이슈 이외에도 다양한 이슈들이 발생 - Dag 간의 사용하는 라이브러리/모듈 충돌 - Worker의 부족 - Wordker 서버들의 관리와 활용도 이슈 1. Dag간의 사용하는 라이브러리 / 모듈 충돌 이로 인해 DAG 혹은 Task별로 별도의 독립공간을 만들어주는 것이 필요 - Docker to the rescue - Dag 혹은 Task 코드를 Docker Image로 만들고 이를 독립된 공간(Docker Container)안에서 실행 2. Worker의 부족 - Scale Up : 컨테이너 서버의 사양을 늘리기 - Scale Out : 컨테이너 서버를 추가하기 (이걸 고민하는 시점에서 cloud a..

• format_list_bulleted Programmers TIL
• · 2023. 6. 12.
• textsms

[DataWearhouse] Snowflake_TIL

Snowflake란 2014년 클라우드 기반 데이터웨어하우스로 시작됨 (2020년 성장) 지금은 데이터 클라우드라고 부를 수 있을 정도로 발전 글로벌 클라우드 위에서 모두 동작 (AWS, GCP, Azure) - 멀티클라우드 데이터 판매를 통한 매출을 가능하게 해주는 Data Sharing/Marketplace 제공 ETL과 다양한 데이터 통합 기능 제공 Snowflake특징 스토리지와 컴퓨팅 인프라가 별도로 설정되는 가변 비용 모델 Redishift 고정비용처럼 노드 수를 조정할 필요가 없고 distkey등의 최적화 불필요 SQL기반으로 빅데이터 저장, 처리, 분석을 가능하게 해줌 비구조화된 데이터 처리와 머신러닝 기능도 제공 CSV, JSON< Avro, Parquet등과 같은 다양한 데이터 포맷을 ..

• format_list_bulleted Programmers TIL
• · 2023. 5. 25.
• textsms