Hadoop技术内幕 深入解析Hadoop Common和HDFS架构设计与实现原理2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Hadoop技术内幕 深入解析Hadoop Common和HDFS架构设计与实现原理PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 环境准备2

第1章 源代码环境准备2

1.1什么是Hadoop2

1.1.1 Hadoop简史2

1.1.2 Hadoop的优势3

1.1.3 Hadoop生态系统4

1.2准备源代码阅读环境8

1.2.1安装与配置JDK8

1.2.2安装Eclipse9

1.2.3安装辅助工具Ant12

1.2.4安装类UNIX Shell环境Cygwin13

1.3准备Hadoop源代码15

1.3.1下载Hadoop15

1.3.2创建Eclipse项目16

1.3.3 Hadoop源代码组织18

1.4小结19

第二部分 Common的实现22

第2章Hadoop配置信息处理22

2.1配置文件简介22

2.1.1 Windows操作系统的配置文件22

2.1.2 Java配置文件23

2.2 Hadoop Configuration详解24

2.2.1 Hadoop配置文件的格式24

2.2.2 Configuration的成员变量26

2.2.3资源加载27

2.2.4使用get 和set 访问/设置配置项32

2.3 Configurable接口34

2.4小结35

第3章 序列化与压缩36

3.1序列化36

3.1.1 Java内建序列化机制36

3.1.2 Hadoop序列化机制38

3.1.3 Hadoop序列化机制的特征39

3.1.4 Hadoop Writable机制39

3.1.5典型的Writable类详解41

3.1.6 Hadoop序列化框架48

3.2压缩49

3.2.1 Hadoop压缩简介50

3.2.2 Hadoop压缩API应用实例51

3.2.3 Hadoop压缩框架52

3.2.4 Java本地方法61

3.2.5支持Snappy压缩65

3.3小结69

第4章Hadoop远程过程调用70

4.1远程过程调用基础知识70

4.1.1 RPC原理70

4.1.2 RPC机制的实现72

4.1.3 Java远程方法调用73

4.2 Java动态代理78

4.2.1创建代理接口78

4.2.2调用转发80

4.2.3动态代理实例81

4.3 Java NIO84

4.3.1 Java基本套接字84

4.3.2 Java NIO基础86

4.3.3 Java NIO实例：回显服务器93

4.4 Hadoop中的远程过程调用96

4.4.1利用Hadoop IPC构建简单的分布式系统96

4.4.2 Hadoop IPC的代码结构100

4.5 Hadoop IPC连接相关过程104

4.5.1 IPC连接成员变量104

4.5.2建立IP C连接106

4.5.3数据分帧和读写111

4.5.4维护IPC连接114

4.5.5关闭IPC连接116

4.6 Hadoop IPC方法调用相关过程118

4.6.1 Java接口与接口体119

4.6.2 IPC方法调用成员变量121

4.6.3客户端方法调用过程123

4.6.4服务器端方法调用过程126

4.7 Hadoop IPC上的其他辅助过程135

4.7.1 RPC.getProxy（）和RPC.stopProxy（）136

4.7.2 RPC.getServer（）和Server的启停138

4.8小结141

第5章Hadoop文件系统142

5.1文件系统142

5.1.1文件系统的用户界面142

5.1.2文件系统的实现145

5.1.3文件系统的保护控制147

5.2 Linux文件系统150

5.2.1 Linux本地文件系统150

5.2.2虚拟文件系统153

5.2.3 Linux文件保护机制154

5.2.4 Linux文件系统API155

5.3分布式文件系统159

5.3.1分布式文件系统的特性159

5.3.2基本NFS体系结构160

5.3.3 NFS支持的文件操作160

5.4 Java文件系统162

5.4.1 Java文件系统API162

5.4.2 URI和URL164

5.4.3 Java输入/输出流166

5.4.4随机存取文件169

5.5 Hadoop抽象文件系统170

5.5.1 Hadoop文件系统API170

5.5.2 Hadoop输入/输出流175

5.5.3 Hadoop文件系统中的权限179

5.5.4抽象文件系统中的静态方法180

5.5.5 Hadoop文件系统中的协议处理器184

5.6 Hadoop具体文件系统188

5.6.1 FileSystem层次结构189

5.6.2 RawLocalFileSystem的实现191

5.6.3 Checksum File System的实现196

5.6.4 RawInMemoryFileSystem的实现210

5.7小结213

第三部分 Hadoop分布式文件系统216

第6章HDFS概述216

6.1初识HDFS216

6.1.1 HDFS主要特性216

6.1.2 HDFS体系结构217

6.1.3 HDFS源代码结构221

6.2基于远程过程调用的接口223

6.2.1与客户端相关的接口224

6.2.2 HDFS各服务器间的接口236

6.3非远程过程调用接口244

6.3.1数据节点上的非IPC接口245

6.3.2名字节点和第二名字节点上的非IPC接口252

6.4 HDFS主要流程254

6.4.1客户端到名字节点的文件与目录操作254

6.4.2客户端读文件256

6.4.3客户端写文件257

6.4.4数据节点的启动和心跳258

6.4.5第二名字节点合并元数据259

6.5小结261

第7章 数据节点实现263

7.1数据块存储263

7.1.1数据节&点的磁盘目录文件结构263

7.1.2数据节点存储的实现266

7.1.3数据节点升级269

7.1.4文件系统数据集的工作机制276

7.2流式接口的实现285

7.2.1 DataXceiverServer和DataXceiver286

7.2.2读数据289

7.2.3写数据298

7.2.4数据块替换、数据块拷贝和读数据块检验信息313

7.3作为整体的数据节点314

7.3.1数据节点和名字节点的交互314

7.3.2数据块扫描器319

7.3.3数据节点的启停321

7.4小结326

第8章 名字节点实现327

8.1文件系统的目录树327

8.1.1从i-node到INode327

8.1.2命名空间镜像和编辑日志333

8.1.3第二名字节点351

8.1.4 FSDirectory的实现361

8.2数据块和数据节点管理365

8.2.1数据结构366

8.2.2数据节点管理378

8.2.3数据块管理392

8.3远程接口ClientProtocol的实现412

8.3.1文件和目录相关事务412

8.3.2读数据使用的方法415

8.3.3写数据使用的方法419

8.3.4工具dfsadmin依赖的方法443

8.4名字节点的启动和停止444

8.4.1安全模式444

8.4.2名字节点的启动449

8.4.3名字节点的停止454

8.5小结454

第9章HDFS客户端455

9.1认识DFSClient455

9.1.1 DFSClient的构造和关闭455

9.1.2文件和目录、系统管理相关事务457

9.1.3删除HDFS文件/目录的流程459

9.2输入流461

9.2.1读数据前的准备：打开文件463

9.2.2读数据465

9.2.3关闭输入流475

9.2.4读取HDFS文件数据的流程475

9.3输出流478

9.3.1写数据前的准备：创建文件481

9.3.2写数据：数据流管道的建立482

9.3.3写数据：数据包的发送486

9.3.4写数据：数据流管道出错处理493

9.3.5写数据：租约更新496

9.3.6写数据：DFSOutputStream&sync（）的作用497

9.3.7关闭输出流499

9.3.8向HDFS文件写入数据的流程500

9.4 DistributedFileSystem的实现506

9.5 HDFS常用工具508

9.5.1 FsShell508

9.5.2 DFSAdmin510

9.6小结511