[Data Engineering] 데이터엔지니어링 직무에 관해서 - 중견기업

1. 중견기업 - 급속도로 서비스가 성장해서 데이터를 수집하고 활용하는 플랫폼을 만들어야 하는 회사의 데이터 엔지니어

• 채용공고 보기 
  • 데이터 가치화 팀은 크고 작은 곳에서 나은 의사결정을 만들어내 목표에 더 가까이 갈 수 있도록 함
  • 커뮤니케이션 비용을 줄일 수 있도록 필요한 모든 것을 고민하고 실현하는 조직
  • 전사 실험 플랫폼 구축, 전사 지표 체계 관리, 탐색적 데이터 분석 및 비즈니스 활용에 대한 인프라와 전사 가이드를 아우름
  • 담당업무
    - 글로벌 서비스의 데이터 파이프라인 개발과 데이터 인프라/웨어하우스를 구축
    - 빠르게 성장하는 서비스에 맞춰 가용성이 높고 확장 가능한 데이터 아키텍처를 설계
  • 자격사항
    - Python / JAVA / Scala / Kotlin / Go 등 최소한 하나 이상의 언어에 능숙
    - 대규모 트래픽 처리를 위한 확장 가능한 데이터 아키텍처 구성에 대한 관심
    - 클라우드 환경에서의 개발/운영 경험이 있거나 그에 준하는 지식
  • 우대사항
    - Hadoop MR, Hive, Spark, Flink, Presto 등 빅데이터 프레임워크 사용 경험
    - 분산 환경에서 대용량 데이터 처리/ 실시간 데이터 처리 경험
    - Kubernetes등 컨테이너 오케스트레이션 시스템 운영 경험
    - AWS, GCP등 클라우드 환경에서 laC를 사용한 데이터 인프라 설계 및 운용 경험
    - Tableau 등을 이용한 데이터 시각화 경험
• 채용 공고에서 나타나는 특징
  • 자격 사항에 특정 데이터 엔지니어링 기술 스택 명시 안함 -> 구축해야할 것이 많아 프로그래밍 기초를 중요시 함 (단, 기초를 중요시 한다는 것은 초보/초급이여도 된다는 말이 아님
  • 우대사항에 기술스택이 많이 적혀있다 -> 회사에서 해야할 것, 하고싶은 것이 많다. 아직 각 기술스택의 전문가가 없거나 부족하다. 하나라도 해당 기술스택(실무수준) 경험이 있다면 강하게 선호된다.
  • 빠르게 성장하고 있다, 대규모 트래픽에 대한 요건이 있다 -> 대규모 트래픽 경험이 있다면 강하게 선호된다.
• 실제 업무에서 나타날 특징
  • 안정적인 운영, 성능 개선보다는 구축에 관심이 많을 것이다.
  • 빅데이터 프레임워크로 되어있지 않은 기존 인프라나 시스템을 상용 제품을 이용해서 구축되어있던 시스템을 -> 새로 구축한 시스템으로 옮기는 작업을 할 수도 있다.
  • 이미 대규모로 사용하고 있는 부서나 서비스가 많지 않다면, 관심있는 기술스택을 비교적 자유롭게 구출할 수 있다.

2. 중견기업 - 서비스가 궤도에 오르고 데이터 플랫폼을 성숙시켜야 하는 회사의 데이터 엔지니어

• 채용공고 보기
  • 어렵고 복잡한 금융 경험을 혁신해 가슴 뛰는 변화를 함께 만들어 나가며, 최고의 동료들과 함께 성장할 수 있는 곳
  • 담당업무
    - 안정적이고 효율적인 데이터 파이프라인(입수/적재/스트리밍)을 개발하고 운영
    - 대용량의 데이터를 실시간으로 분산처리하여 데이터 기반 00서비스에 기여
    - 동료들의 안정적이고 효율적인 데이터 실험/분석 환경을 위한 도구를 개발
    - 데이터 분석 및 플랫폼 운영을 위한 다양한 데이터 어플리케이션을 개발
  • 자격사항
    - 대용량 데이터 처리를 위한 데이터 파이프라인(수집/처리/분석) 개발 경험
    - 대용량 분산 시스템(Hadoop, Kafka, Spark 등) 활용 경험
    - 데이터 어플리케이션 개발을 위한 소프트웨어 개발 역량(Java, Scala, Python 등
  • 우대사항
    - 중급 이상의 프로그래밍 개발 역량(웹/클라이언트/서버 프로그래밍 등)
    - 새로운 기술에 대한 관심이 많고 실제 서비스에 적용하여 개선한 경험
    - 다양한 상황에서 최적의 솔루션을 찾을 수 있는 문제해결능력 및 원할한 커뮤니케이션 역량
    - 추천/광고/ML 관련 서비스를 개발해보신 분
• 채용 공고에서 나타나는 특징
  • 업무의 요구사항이 명확함 -> 해당 업무를 확실히 할 수 있는 사람을 찾고있음
  • 안정적이고 효율적인 -> 이미 구축 해놓은 것이 어느정도 있다. 특정 기술을 잘하는 사람이 필요
  • 대용량 분산시스템 처리에 대한 경험을 원함 -> 분산시스템에 대한 이론적인 이해와, 활용 경험까지 원함
  • 데이터 어플리케이션 개발을 위한 소프트웨어 개발 역량 -> 데이터 엔지니어링 역량 부족하더라도 소프트웨어 엔지니어링을 잘 한다면 팀에 도움이 됨
  • 규모가 크고 데이터 엔지니어가 해야할 일이 많다 -> 자격요건에 있는 수집, 처리, 분석 모두 할줄 알아야 하는 것이 아니라, 어느 하나라도 강점이 있으면 된다.
• 실제 업무에서 나타날 특징
  • 대기업의 전사시스템을 구축하는 데이터 엔지니어 업무와 비슷함
  • 하지만 더 빠른 속도의 개발과 적용 태스트가 필요함

 

* 해당 글은 패스트캠퍼스 강의(한 번에 끝내는 데이터 엔지니어링 초격차 패키지 Online) 기반으로 작성되었습니다.