Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | |||||
| 3 | 4 | 5 | 6 | 7 | 8 | 9 |
| 10 | 11 | 12 | 13 | 14 | 15 | 16 |
| 17 | 18 | 19 | 20 | 21 | 22 | 23 |
| 24 | 25 | 26 | 27 | 28 | 29 | 30 |
| 31 |
Tags
- MVC
- ACID
- procedure
- database
- hdfs
- Transaction
- spark
- namenode
- 프로그래머스
- Parquet
- S3
- bigdata
- priorityqueue
- Algorithm
- 백준
- 우선순위큐
- EventScheduler
- JPA
- MySQL
- 시뮬레이션
- wrapper class
- datanode
- ES6
- boto3
- Spring
- greedy
- SQL
- 구현
- BIT연산
- BFS
Archives
- Today
- Total
목록datanode (1)
IT 개발일지
[빅데이터 파이프라인 마스터] Week6 - HDFS - Namenode & Datanode
Namenode & Datanode구조- 하둡은 마스터-워커(master-worker) 패턴으로 동작한 네임노드와, 데이터노드로 구성되어 있음. 1. 네임노드(NameNode)- 파일 시스템의 네임스페이스(namespace)를 관리(파일시스템의 트리와 해당 트리의 모든 파일, 디렉토리의 메타데이터를 관리)- 파일을 저장, 읽기작업 관리하며 메타데이터를 유지하며 어떤 파일이 어떤 블록에 있고, 어떤 데이터노드에 저장되는지 파악- 즉, 어떤 파일들이 어떤 블록에 속해있고, 블록들이 어떤 데이터노드에 관리되어 있는지 등 메타정보를 저장하면서 파일 시스템을 관리하는 주체라고 보면 된다. * FsImage : 파일의 매핑된 블럭 등을 포함한 전체 네임스페이스 정보를 저장한다.* EditLog : FsImage정보..
카테고리 없음
2024. 6. 25. 22:16