[Spark] 스파크의 특징과 기본 개념 - 2

지난 포스팅에서 스파크에 대한 기본 구조를 알아보았습니다. 이번 포스팅에서는 좀더 깊게 들어가서 스파크의 아키텍처를 알아보고 어떻게 동작되는지 알아보겠습니다. 1. 스파크 아키텍처 1.1 스파크 아키텍처 기본 구성스파크 아키텍처는 크게 아래와같이 3가지로 구성되어 있습니다.Driver : Spark Application의 시작점Cluster Manager : Yarn, Mesos, K8s 같은 자원 관리 매니저Worker Node : 실제 작업이 실행되는 환경 1.2 스파크 작업 흐름Spark Driver는 Spark 프로그램의 중앙 처리장치입니다. Spark Context를 시작하고, 제출된 어플리케이션의 실행을 담당합니다.어플리케이션의 실행은 코드 내용을 보고 job의 순서(DAG 형식)로 나눕니다...

• format_list_bulleted Data Engineering/Spark
• · 2025. 5. 17.
• textsms

[Spark] 스파크의 특징과 기본 개념 - 1

1. 스파크란아파치 스파크(apache spark)는 2011년 버클리 대학의 AMPlam에서 개발되어 현재는 아파치 재단의 오픈소스로 관리되고 있는 인메모리 기반의 대용량 데이터 고속 처리 엔진으로 범용 분산 클러스터 컴퓨팅 프레임워크 입니다. 2. 특징Speed : 인메모리(In-Memory) 기반의 빠른 처리Ease of Use : 다양한 언어 지원(Java, Scala, Python, R, SQL)을 통한 사용의 편이성Generality : SQL, Streaming, 머신러닝, 그래프 연산 등 다양한 컴포턴트 제공Run Everywhere : YARN, Mesos, Kubernetes등 다양한 클러스터에서 동작 가능HDFS, Casandra, HBase 등 다양한 파일 포맷 지원해당 특징에 대해..

• format_list_bulleted Data Engineering/Spark
• · 2025. 5. 17.
• textsms