Hadoop技术详解2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Hadoop技术详解PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 简介1

第2章 HDFS6

2.1 目标和动机6

2.2 设计7

2.3 守护进程8

2.4 读写数据10

2.4.1 数据读取流程10

2.4.2 数据写操作流程11

2.5 管理文件系统元数据13

2.6 NameNode的高可用性14

2.7 NameNode联盟16

2.8 访问与集成17

2.8.1 命令行工具18

2.8.2 用户空间文件系统（FUSE）21

2.8.3 表示状态传输（REST）的支持21

第3章 MapReduce23

3.1 MapReduce的若干阶段24

3.2 Hadoop MapReduce简介30

3.2.1 后台程序31

3.2.2 出错处理33

3.3 YARN35

第4章 规划一个Hadoop集群37

4.1 挑选Hadoop的发行版本37

4.1.1 Apache Hadoop37

4.1.2 Cloudera的ApacheHadoop发行版本38

4.1.3 版本和功能38

4.1.4 我应该使用哪个版本40

4.2 硬件选型41

4.2.1 主节点硬件的选择42

4.2.2 工作节点的硬件选择43

4.2.3 集群的大小45

4.2.4 刀片服务器、存储区域网络（SAN）和虚拟化47

4.3 操作系统的选择和准备49

4.3.1 部署规划49

4.3.2 软件50

4.3.3 主机名、DNS和标识51

4.3.4 用户、组和特权54

4.4 内核调整56

4.4.1 vm.swappiness56

4.4.2 vm.overcommit_memory57

4.5 磁盘配置58

4.5.1 选择文件系统58

4.5.2 挂载选项60

4.6 网络设计60

4.6.1 Hadoop中的网络使用：回顾60

4.6.2 1 Gb与10 Gb网络62

4.6.3 典型的网络拓扑63

第5章 安装和配置67

5.1 安装Hadoop67

5.1.1 Apache Hadoop68

5.1.2 CDH72

5.2 配置概述76

5.3 环境变量和Shell脚本80

5.4 日志配置82

5.5 HDFS84

5.5.1 识别和定位84

5.5.2 优化与调整86

5.5.3 格式化NameNode89

5.5.4 创建／tmp目录91

5.6 NameNode的高可靠性92

5.6.1 隔离（Fencing）选项93

5.6.2 基本配置95

5.6.3 自动失效备援配置96

5.6.4 格式化和引导NameNode启动99

5.7 NameNode联盟（Federation）105

5.8 MapReduce113

5.8.1 识别和定位113

5.8.2 优化和调整115

5.9 机架拓扑122

5.10 安全125

第6章 用户标识、身份验证和授权126

6.1 用户标识127

6.2 Kerberos和Hadoop128

6.2.1 Kerberos128

6.2.2 Hadoop上的Kerberos支持130

6.3 授权143

6.3.1 HDFS144

6.3.2 MapReduce146

6.3.3 其他工具和系统149

6.4 集成试试153

第7章 资源管理156

7.1 何谓资源管理156

7.2 HDFS配额156

7.3 MapReluce调度器159

7.3.1 先进先出（FIFO）调度器160

7.3.2 公平调度器162

7.3.3 计算能力调度器（Capacity Scheduler）174

7.3.4 未来发展181

第8章 集群维护183

8.1 Hadoop流程管理183

8.1.1 用初始化脚本管理进程183

8.1.2 手动管理进程184

8.2 HDFS维护任务184

8.2.1 添加一个DataNode184

8.2.2 卸载DataNode185

8.2.3 用fsck来检查文件系统的一致性185

8.2.4 HDFS块数据均衡190

8.2.5 处理坏磁盘192

8.3 MapReduce维护任务193

8.3.1 添加tasktracker193

8.3.2 卸载tasktracker193

8.3.3 终结MapReduce作业194

8.3.4 终结MapReduce任务194

8.3.5 处理列入黑名单的tasktracker195

第9章 故障分析与排查196

9.1 鉴别诊断（Differential Diagnosis）196

9.2 故障和问题197

9.2.1 人类（自己）198

9.2.2 配置错误198

9.2.3 硬件故障199

9.2.4 资源枯竭200

9.2.5 主机标识和命名200

9.2.6 网络分区200

9.3 “计算机插好了么？”201

9.4 治疗和护理203

9.5 实战案例206

9.5.1 神秘的瓶颈206

9.5.2 127.0.0.1这个地址不存在209

第10章 监控213

10.1 概览213

10.2 Hadoop度量（Metrics）214

10.2.1 Apache Hadoop 0.20.0和CDH3（metrics1）214

10.2.2 Apache Hadoop 0.20.203及之后的版本、CDH4（metrics2）221

10.2.3 SNMP222

10.3 健康监控222

10.3.1 主机级别的检查223

10.3.2 所有Hadoop进程225

10.3.3 HDFS检查226

10.3.4 MapReduce检查229

第11章 备份与恢复232

11.1 数据备份232

11.1.1 分布式拷贝（distcp）233

11.1.2 并行提取数据235

11.2 NameNode元数据237

附录 弃用的配置属性239