[K8s] Kubernetes(K8s)_TIL

Kubernetes란 - 컨테이너 기반 서비스 배포/스케일/관리 자동화를 해주는 오픈소스 프레임웍 구글에서 사용하던 Borg 서비스를 오픈소스화함 (2015년) 클라우드나 on-prem 모두에서 잘 동잘됨 다양한 Container에서 사용 가능하지만 주로 Docker Container들이 대상이 됨 물리서버나 가상서버 위에서 모두 동작 - 지금은 Cloud Native Computing Foundation이라는 비영리 단체에서 운영 클라우드 환경에서 어떻게 소프트웨어를 배포하는 것이 효율적일까? 컨테이너, 서비스메시, 마이크로서비스, API, DevOps, On-demand Infra가 주요 핵심 기술 - 가장 많이 사용되는 컨테이너 관리시스템 = K8s 사용회사와 커뮤니티 활동이 굉장히 많고 활발 카카..

• format_list_bulleted Programmers TIL
• · 2023. 6. 16.
• textsms

[Docker] Docker Compose_TIL

Docker-compose.yml 구성 - 다양한 버전이 존재하는데 본 블로그는 v2와 v3가 합쳐진 버전 사용 기준으로 설명함 - services: 다음으로 프로그램을 구성하는 서비스들을 지정 각 서비스는 별개의 Docker Image 지정과 Docker Container 실행으로 구성됨 즉, 각 서비스는 자신의 Dockerfile을 갖고 있어야함 아니면 Docker hub등에서 이미지를 다운로드 서비스별로 포트번호, 환경변수, 디스크 볼륨등을 지정해야함 서비스 이름은 아무 이름이나 가능 - volumes: servieces 에서 사용할 docker volume들을 지정 (해당 내용을 지정해줘야 services에서 사용가능) - networks: servieces 에서 사용할 network들을 지정 (..

• format_list_bulleted Programmers TIL
• · 2023. 6. 15.
• textsms

[Docker] Docker Volume_TIL

Docker Volume의 필요성 - Docker Container가 실행되었다가 중단되면 데이터들은 어떻게 될까? -> 모두 유실됨 - 특정 소프트웨어가 Docker Container를 통해 일회성으로 동작하는 것이 아니라 계속해서 동작해야 한다면 데이터가 영구적으로 보관되어야함 (ex. 데이터베이스가 Docker Container안에서 동작 시) - 이를 보장하는 기능이 Docker volumes -> Data Persistence - Docker Container내의 가상 파일 시스템과 호스트 시스템의 파일 시스템을 맵핑 예) 호스트 파일 시스템의 /home/user/logs를 Docker Container의 /var/lib/airflow/logs로 맵핑 이 경우 Docker Container가 중..

• format_list_bulleted Programmers TIL
• · 2023. 6. 14.
• textsms

[Docker] Docker 명령 정리_TIL

Image 관련 - docker 이미지 build - Mac m1 chip의 경우 아래 명령어 실행 ● docker build --platform=linux/amd64 -t hahxowns/hangman (hahxowns/hangman = docker 이미지 이름) - 설치된 이미지 출력 ● docker images ● docker image ls ● docker image ls -aq - docker image 삭제 ● docker image rm ● docker image rm -f $(docker image ls -aq) Docker Hub 관련 ● docker login -u 사용자ID -p 사용자PW ● docker pull hahxowns/hangman (hahxowns/hangman = do..

• format_list_bulleted Programmers TIL
• · 2023. 6. 14.
• textsms

[Docker] Docker 개발 프로세스_TIL

Dockerfile의 생성 - Docker에거 소프트웨어 설치 명령을 기술 - 베이스 이미지를 기술 (FROM) -> 코드 복사 -> 코드 실행 FROM node:alpine # FROM = OS종류를 적어줌(여기서는 Alpine이라는 경량 리눅스를 데모목적으로 선택) COPY ./app # COPY = 코드 복사에 사용 WORKDIR /app # WORKDIR = Wordking directory를 지정(지정 시 cmd에 경로 적어줄 필요 없음) CMD node app.js # CMD = 실행하는 명령 앞에 지정 - 그 외의 키워드 ARG : Docker Image를 만들 때 사용되는 변수 지정, 최종 이미지에는 안 들어감 ENV : 컨테이너가 실행될 때 사요오디는 환경변수, 최종 이미지에 저장됨 US..

• format_list_bulleted Programmers TIL
• · 2023. 6. 12.
• textsms

[Docker] Docker와 K8s_TIL

Docker와 K8s 필요성 (예시 : Airflow 운영상의 어려움) 데이터 품질이나 데이터 리니지 이슈 이외에도 다양한 이슈들이 발생 - Dag 간의 사용하는 라이브러리/모듈 충돌 - Worker의 부족 - Wordker 서버들의 관리와 활용도 이슈 1. Dag간의 사용하는 라이브러리 / 모듈 충돌 이로 인해 DAG 혹은 Task별로 별도의 독립공간을 만들어주는 것이 필요 - Docker to the rescue - Dag 혹은 Task 코드를 Docker Image로 만들고 이를 독립된 공간(Docker Container)안에서 실행 2. Worker의 부족 - Scale Up : 컨테이너 서버의 사양을 늘리기 - Scale Out : 컨테이너 서버를 추가하기 (이걸 고민하는 시점에서 cloud a..

• format_list_bulleted Programmers TIL
• · 2023. 6. 12.
• textsms