Apache Hadoop — 在一个 Pod 里搭起并运维 HDFS 与 YARN
在伪分布式 HDFS·YARN 上亲手操作块、权限、配额与 MapReduce
중급 · 课时 30 · 实验 10
课程大纲
HDFS 的两种角色
- NameNode 掌管名字，DataNode 保存字节 reading
- 把文件上传到单 Pod HDFS，并用两种方式读取 lab
- 测验：HDFS 的两种角色 quiz
数据块与副本
- 文件被切成数据块，存放在 DataNode 磁盘上 reading
- 把 12MiB 文件切成数据块，并一路追踪到磁盘 lab
- 测验：数据块与副本 quiz
权限与用户
- 简单认证对你报出的名字照单全收 reading
- 只向一个团队开放财务目录，并只给另一个人只读权限 lab
- 测验：权限与用户 quiz
配额
- 空间配额在写入前先预留一个完整数据块 reading
- 复现 1 字节文件为何被 30MB 配额挡住 lab
- 测验：名称配额与空间配额 quiz
快照与回收站
- 找回已删除文件的两条路——回收站与快照 reading
- 从回收站和快照中恢复误删的文件 lab
- 测验：快照与回收站 quiz
NameNode 元数据
MapReduce
Hadoop Streaming
YARN 容器与队列
- YARN 把内存切成容器大小再分配出去 reading
- 按 2Gi 的 Pod 设定容器大小并划分队列 lab
- 测验：容器大小与队列 quiz