Hadoop - HDFS HA QJM(Quorum Journal Manager) 과 NFS(Network File System)

HDFS HA(고가용성)

• 하둡 v2부터 HDFS 고가용성(High Availablility)을 제공
• HDFS 고가용성은 이중화된 두대의 서버인 액티브(active) 네임노드와 스탠바이(standby)네임노드를 이용해 지원
• 두개의 노드는 데이터 노드로부터 블록 리포트와 하트비트를 모두 받아서 동일한 메타데이터를 유지하고, 공유 스토리지를 이용하여 에디트파일을 공유
• 액티브 네임노드는 네임노드의 역할을 수행, 스탠바이 네임노드는 액티브에 문제가 발생하면 스탠바이가 액티브 네임노드로 동작
• 액티브 네임노드에 문제가 발생하는 것을 자동으로 확인하는 것이 어렵기 때문에 보통 주키퍼를 이용해 장애 발동시 자동으로 변경될 수 있도록 함
• 스탠바이 네임노드는 세컨더리 네임노드의 역할을 동일하게 수행, 따라서 HDFS 고가용성 모드로 설정하였을 때 세컨더리 네임노드를 실행하지 않아도 됨 (고가용성 모드에서 세컨더리 네임노드를 실행하면 오류 발생)

QJM(Quorum Journal Manager)

• QJM은 HDFS 전용 구현체로, 고가용성 에디트 로그를 지원하기 위한 목적으로 설계됨. (HDFS의 권장 옵션)
• QJM은 저널 노드 그룹에서 동작, 각 에디트 로그는 전체 저널 노드에 동시에 쓰여집니다.
• 일반적으로 저널 노드는 세 개로 구성, 그 중 하나가 손상되도 문제가 없는 시스템
• 이러한 방식은 주키퍼의 작동 방식과 매우 유사하지만 QJM은 주키퍼를 사용하지 않고 이런 기능을 구현했다는 점이 중요.
• 물론 HDFS 고가용성은 액티브 네임노드를 선출하기 위해 주키퍼를 이용함
• 스탠바이 네임노드를 활성시키는 전환 작업은 장애복구 컨트롤러(failover controller)라는 새로운 객체로 관리
• 다양한 방법으로 장애복구 컨트롤러를 구현할 수 있지만, 기본 설정은 단 하나의 네임노드만 활성 상태에 있다는 것을 보장하기 위해 주키퍼를 이용

NFS(Network File System)

• NFS를 이용하는 방법은 에디트 파일을 공유 스토리지를 이용하여 공유하는 방법
• 공유 스토리지에 에디트 로그를 공유하고 펜싱을 이용하여 하나의 네임노드만 에디트 로그를 기록하도록 함

 

 

참고

• HDFS High Availability With QJM
• HDFS High Availability With NFS
• 하둡 네임노드 이중화 시 fencing의 역활