728x90
1. HDFS 개요
- HDFS는 처리량을 중시하는 일관 처리에 적합한 시스템이다. 쓰기를 한번하면 이후에는 읽기만을 가능한 방식이다.
- 블록 사이즈를 범용 파일 시스테몹다 매우 큰 사이즈로 잡고 오직 순차적 접근 패턴만을 제공하여 대량의 데이터를 한 번에 모아 처리할 수 있도록 하였다.
3. HDFS 구조
- HDFS는 하나의 마스터 노드와 복수의 슬레이브 노드로 구성이 된다. 마스터 노드는 NameNode라 하며 슬레이브 노드는 DataNode라고 한다.
- 마스터 노드인 NameNode는 메타데이터를 관리하는데 메타데이터의 정보에는 파일의 경로와 크기, 소유자와 소유 그룹, 속성, 블록ID, 블록을 보유하고 있는 DataNode 등의 정보들을 저장하고 관리하고 있다. 또한 HDFS의 사용 상황과 DataNode의 다운여부, 클라이언트의 처리 요청 접수 등을 수행한다. 마스터 노드가 고장날 경우 HDFS 서비스가 작동 안되는 문제점이 있다.
- 슬레이브 노드인 DataNode는 블록으로 나누어진 데이터를 저장하고 있다.
728x90
'DB' 카테고리의 다른 글
| mysqldump export, import (0) | 2019.12.19 |
|---|---|
| multiple row to single row (0) | 2017.02.06 |
| MAPREDUCE 과정 (0) | 2014.11.28 |
| NOSQL (0) | 2014.11.28 |
| ORACLE 쿼리 분석(실행계획) (0) | 2014.11.28 |