TJ_Log
close
프로필 배경
프로필 로고

TJ_Log

  • 분류 전체보기 (86)
    • Data Engineering (23)
      • Data Engineering? (2)
      • Hadoop (3)
      • Elasticsearch (0)
      • Redis (4)
      • Spark (6)
      • MySQL(RDB) (2)
      • 자격증 (6)
    • Data Analysis (2)
      • Machine Learning(ML) (1)
      • NLP (1)
    • Infra (4)
    • ETC (19)
      • Network (1)
      • Linux (4)
      • Algorithm (3)
      • Spring (3)
      • Python (2)
      • Scala (2)
      • Java (3)
      • Javascript (1)
    • Project (6)
    • Trouble shooting (2)
    • Experience (1)
    • Programmers TIL (28)
      • Algorithm (8)
  • 홈
  • 태그
  • 방명록

[Kubernetes]Kubernetes 설치 및 설정 (rocky8 Linux 기준)

Kubernetes는 컨테이너 오케스트레이션을 위한 대표적인 도구로, 클러스터 환경을 구성하여 애플리케이션의 배포, 확장, 관리를 자동화할 수 있습니다. 이 글에서는 Rocky Linux 8 환경에서 Kubernetes 클러스터를 구성하는 과정을 정리합니다.모든 노드는 동일한 사전 작업을 거치며, 이후 마스터 노드와 워커 노드에서 수행하는 설정이 나뉘어집니다. 본 포스팅에서 설정한 기준은 Master 1, Worker 3개의 cluster를 구성했습니다.공통으로 설정되는 내용은 하나의 cluster에 설정 후 해당 이미지를 복사하여 다른 cluster를 구성하는 것을 추천합니다. 1. 기본 설정 (모든 노드에서 수행)# 시스템 업데이트 및 시간대 설정dnf update -ytimedatectl set-t..

  • format_list_bulleted Infra
  • · 2025. 7. 9.
  • textsms
[Project] DE Toy Project - 팀 프로젝트 회고 및 고도화 계획

[Project] DE Toy Project - 팀 프로젝트 회고 및 고도화 계획

지난 포스팅에서 이어집니다. 개인 프로젝트(DE Toy Project)를 진행하다가 운이 좋게 클라우드 아키텍처 솔루션 교육과정의 팀 프로젝트에서 개인 프로젝트를 Hybrid Cloud를 이용한 서비스로 확장 시킬 수 있었습니다. 하지만 기간이 정해져있어 제한 시간안에 서비스를 구현하는 것이 1순위였기에 데이터 처리 및 분석 작업을 심도있게 다루지 못하고 여러모로 아쉬운점이 있었습니다. 그래서 이번 포스팅은 팀 프로젝트 이후 지금까지 작업한 내용을 검토해보고 개선할 점과 앞으로 진행할 내용에 대해 작성해보겠습니다. 프로젝트 돌아보기지금까지 진행한 내용실시간 대규모 데이터 ETL과 분석경험을 위해 data(쿠팡 상품과 리뷰정보) ETL 및 분석 pipeline 구축을 목표로 프로젝트를 진행함차단 우회 및..

  • format_list_bulleted Project
  • · 2025. 7. 3.
  • textsms
[Docker] Dockerfile 구성하기

[Docker] Dockerfile 구성하기

Docker를 활용한 애플리케이션 배포는 오늘날 많은 개발 환경에서 표준으로 자리 잡고 있습니다. 그 중심에 있는 것이 바로 Dockerfile입니다. 이 글에서는 Dockerfile이 무엇인지, 어떤 식으로 작성하고 사용하는지에 대해 간단히 정리해보겠습니다. Dockerfile이란?Dockerfile은 Docker 이미지를 빌드하기 위한 스크립트 파일입니다. 이미지 생성 과정에서 실행해야 할 명령들을 순차적으로 기술함으로써, 컨테이너 환경 구성을 자동화할 수 있습니다. 수동으로 설치하고 구성하는 과정을 반복하지 않아도 되므로, 일관성과 재현성이 확보되는 장점이 있습니다. 주요 명령어 정리Dockerfile은 다양한 명령어로 구성됩니다. 자주 사용하는 명령어들을 아래와 같이 정리할 수 있습니다FROM이미..

  • format_list_bulleted Infra
  • · 2025. 7. 3.
  • textsms
[Project] 실시간 쿠팡 리뷰 분석 with Hybrid Cloud (클라우드 아키텍쳐 솔루션 교육과정)

[Project] 실시간 쿠팡 리뷰 분석 with Hybrid Cloud (클라우드 아키텍쳐 솔루션 교육과정)

클라우드 아키텍쳐 솔루션 교육 과정 중 팀프로젝트를 진행하게 됐습니다.주제선정 회의 때 개인적으로 진행한 실시간 쿠팡 리뷰 분석(DE Toy Project)을 하이브리드 클라우드 환경으로 만들어보자는 얘기가 나왔습니다.당시 쿠팡 크롤링을 한창 테스트 하고 있을 때였고, 웹과 클라우드 환경을 구성해야 했던 저로서는 협업할 수 있는 좋은 기회를 가질 수 있었습니다. 그럼 10일 간 진행한 팀프로젝트 내용을 공유드리겠습니다. 프로젝트 소개주제하이브리드 클라우드로 구성한 실시간 쿠팡 리뷰 분석 목표하이브리드 클라우드 구성로컬 서버와 GCP 연동을 통한 유연한 자원 분배보안과 고가용성을 위한 구성데이터 파이프라인 구성크롤링 서버 + API 연동 구조, 백엔드 연계 처리실시간 데이터 ETL 및 분석검색 / 분석 ..

  • format_list_bulleted Project
  • · 2025. 7. 1.
  • textsms

[Docker] Docker 명령어 정리

Docker ImageDcoker Hub에서 이미지 검색주요 옵션--no-trunc: 결과 모두 표시--limit: 최대 검색 결과 수--filter-starts=n: 별표가 n개 이상인 것만 표시# 기본 구문docker search [옵션] 이미지 키워드# 사용 예시docker search nginxdocker search ubuntu 레지스트리에서 이미지 가져오기주요 옵션--all-tags, -a: 저장소에서 태그가 지정된 이미지를 모두 다운로드--disable-content-trust: 이미지 확인 건너 뛰기# 기본 구문docker image pull [옵션] 이미지명 [:태그명]# 사용 예시docker image pull nginx 이미지 목록 보기주요 옵션--no-trunc: 결과 모두 표시--..

  • format_list_bulleted Infra
  • · 2025. 7. 1.
  • textsms
[Docker] Docker와 Container에 대해 이해하기

[Docker] Docker와 Container에 대해 이해하기

Docker & Container 이해하기Docker & Container 란?Docker란?Docker는 애플리케이션의 실행에 필요한 환경을 하나의 이미지로 모아두고, 그 이미지를 사용하여 다양한 환경에서 애플리케이션 실행 환경을 구축 및 운용하기 위한 오픈소스 플랫폼입니다.컨테이너란?Docker 이미지로 부터 생성되며, 호스트 OS상에 논리적인 구획을 만들고, 애플리케이션을 작동시키기 위해 필요한 라이브러리나 애플리케이션을 등을 하나로 모아, 마치 별도의 서버인 것처럼 사용할 수 있게 만든 것입니다.호스트 OS의 리소스를 논리적으로 분리시키고, 여러 개의 컨테이너가 공유하여 사용함컨테이너는 오버헤드가 적기 때문에 가볍고 고속으로 작동 함 (시작 및 종료 사용되는 리소스 작음) 가상화 기술과 컨테이너 ..

  • format_list_bulleted Infra
  • · 2025. 6. 30.
  • textsms
  • navigate_before
  • 1
  • 2
  • 3
  • 4
  • ···
  • 15
  • navigate_next
공지사항
전체 카테고리
  • 분류 전체보기 (86)
    • Data Engineering (23)
      • Data Engineering? (2)
      • Hadoop (3)
      • Elasticsearch (0)
      • Redis (4)
      • Spark (6)
      • MySQL(RDB) (2)
      • 자격증 (6)
    • Data Analysis (2)
      • Machine Learning(ML) (1)
      • NLP (1)
    • Infra (4)
    • ETC (19)
      • Network (1)
      • Linux (4)
      • Algorithm (3)
      • Spring (3)
      • Python (2)
      • Scala (2)
      • Java (3)
      • Javascript (1)
    • Project (6)
    • Trouble shooting (2)
    • Experience (1)
    • Programmers TIL (28)
      • Algorithm (8)
최근 글
인기 글
최근 댓글
태그
  • #data engineering associate
  • #자격증
  • #RDB
  • #spark
  • #db
  • #docker
  • #scala
  • #dea
전체 방문자
오늘
어제
전체
Copyright © 쭈미로운 생활 All rights reserved.
Designed by JJuum

티스토리툴바