Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- spark
- BIT연산
- SQL
- procedure
- Algorithm
- ACID
- 백준
- Spring
- 우선순위큐
- greedy
- JPA
- S3
- datanode
- 시뮬레이션
- MVC
- BFS
- database
- 구현
- 프로그래머스
- bigdata
- EventScheduler
- namenode
- wrapper class
- hdfs
- boto3
- priorityqueue
- ES6
- Parquet
- MySQL
- Transaction
Archives
- Today
- Total
목록namenode (1)
IT 개발일지
[빅데이터 파이프라인 마스터] Week6 - HDFS - Namenode & Datanode
Namenode & Datanode구조- 하둡은 마스터-워커(master-worker) 패턴으로 동작한 네임노드와, 데이터노드로 구성되어 있음. 1. 네임노드(NameNode)- 파일 시스템의 네임스페이스(namespace)를 관리(파일시스템의 트리와 해당 트리의 모든 파일, 디렉토리의 메타데이터를 관리)- 파일을 저장, 읽기작업 관리하며 메타데이터를 유지하며 어떤 파일이 어떤 블록에 있고, 어떤 데이터노드에 저장되는지 파악- 즉, 어떤 파일들이 어떤 블록에 속해있고, 블록들이 어떤 데이터노드에 관리되어 있는지 등 메타정보를 저장하면서 파일 시스템을 관리하는 주체라고 보면 된다. * FsImage : 파일의 매핑된 블럭 등을 포함한 전체 네임스페이스 정보를 저장한다.* EditLog : FsImage정보..
카테고리 없음
2024. 6. 25. 22:16