[Project] DE Toy Project에서 DE Pro Project로

 

1. DE Pro Project의 시작

DE Toy Project 고도화를 위한 기능 설계 이후 새로운 기술 스택을 배우는 시간을 가졌습니다. Kubernetes, Kafka, Spark등의 새로운 기술을 배우고 실습을 진행했습니다. 그렇게 시간이 흘러 KOSA에서 수강중인 Cloud Solution Architect 과정 중 final project를 진행하게 되었습니다.

 

해당 교육과정의 semi project로 Hybrid cloud를 구축하는 team project를 진행했습니다. 이번 final project는 해당 프로젝트에서 발전시켜 aws환경에서 EKS(Kubernetes)와 CI/CD 접목한 data pipeline 자동화를 구축하기로 했습니다.

 

사실 그전에도 DE Toy Project를 하면서 이걸 Toy라고 부르는게 맞나? 생각은 했는데 이번에 팀프로젝트를 진행하면서 실제 현업수준의 인프라와 pipeline을 구축하는 것을 목표로 하기에 DE Pro(professional, product라는 뜻) Project라고 명명하겠습니다.

 

앞으로 Cloud Solution Architect 교육 과정에서 DE Pro Project(Final Project)에 대해서 고민한 내용과 구축과정을 공유드리려합니다.

 

이번 포스팅에서는 프로젝트 첫 회의 때 선정한 프로젝트 개요 및 요구사항 분석 도출 내용을 공유드립니다. 

 

 

 

2. 프로젝트 개요

1. 주제
   Kuberntes 기반 데이터 파이프라인 자동화와 CI/CD 구축
   
   
2. 목적
   
   • Kubernetes를 활용해 비용효율성, 고가용성, 확장성을 챙긴 인프라 구축
   • 실제 현업 수준의 실시간/배치 Data Pipeline 구축
   • aws에 종속된 service 최소화(open source 사용)
   • CI/CD 구축해 운영 자동화 구축
   • 데이터 용도에 맞는 Data Lake와 Data Warehouse 구축
3. 프로젝트 기간
   2025.7.28 ~ 2025.9.12

 

3. 요구 사항 정의

회의에서 나온 요구사항을 간단하게 작성한거라 구체적이진 않습니다.

https://wind-cruiser-a0d.notion.site/

요구 사항 정의 | Notion

 

 

마무리

다음 포스팅에서는 요구사항을 기반으로 기능을 정의하고 구체적인 PRD를 작성해보겠습니다.