Hadoop源代码分析2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Hadoop源代码分析PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1篇 Hadoop概述与安装1

第1章 Hadoop的简介和安装1

1.1 Hadoop的简介1

1.1.1 分布式文件系统HDFS1

1.1.2 并行计算模型MapReduce3

1.2 Hadoop的安装3

1.2.1 虚拟机以及Ubuntu的安装3

1.2.2 创建Hadoop用户6

1.2.3 JDK1.6的安装7

1.2.4 SSH的配置8

1.2.5 单机模式下Hadoop的安装11

1.2.6 伪分布式模式下Hadoop的安装11

1.2.7 分布式模式下Hadoop的安装14

第2篇 HDFS分布式文件系统及IO模型17

第2章 HDFS架构和分布式文件系统17

2.1 分布式文件系统概述17

2.2 HDFS的特点17

2.3 HDFS文件系统架构18

2.4 Hadoop的抽象文件系统模型19

2.4.1 FileSystem抽象文件系统19

2.4.2 FileStatus文件状态信息34

2.4.3 FsPermission文件或目录的操作权限34

2.4.4 FileSystem的实现类37

2.4.5 FileSystem的输入流53

2.4.6 FileSystem的输出流60

2.5 小结61

第3章 Hadoop分布式文件系统HDFS的具体实现62

3.1 DistributedFileSystem分布式文件系统62

3.2 DFSClient HDFS客户端68

3.3 小结109

第4章 NameNode的实现110

4.1 INode抽象类110

4.2 INodeDirectory目录113

4.3 INodeFile文件116

4.4 FSDirectory文件系统目录119

4.5 FSEditLog文件系统的编辑日志127

4.6 FSImage文件系统镜像153

4.7 Host2NodesMap主机到DataNode的映射183

4.8 NetworkTopology网络拓扑结构187

4.9 HostsFileReader主机文件读取器196

4.10 BlocksMap数据块到其元数据的映射198

4.11 FSNamesystem HDFS文件系统的命名空间201

4.12 NameNode名称结点219

4.13 小结230

第5章 Datanode的实现232

5.1 Block数据块232

5.2 DatanodeID类232

5.3 DatanodeInfo类233

5.4 BlockSender数据块发送器235

5.5 BlockReceiver数据块接收器240

5.6 DataBlockScanner数据块扫描器246

5.7 FSDataset Datanode数据集合253

5.8 DataXceiverServer266

5.9 DataXceiver267

5.10 Datanode类271

5.11 小结282

第6章 Hadoop的IO283

6.1 数据类型接口283

6.1.1 Writable接口283

6.1.2 Comparable接口283

6.1.3 WritableComparable接口284

6.1.4 RawComparator比较器接口284

6.1.5 WritableComparator接口285

6.2 基本数据类型287

6.2.1 IntWritable整型类型287

6.2.2 Text文本类型288

6.2.3 NullWritable类292

6.2.4 ObjectWritable类292

6.3 文件类型293

6.3.1 SequenceFile序列文件293

6.3.2 MapFile映射文件304

6.4 小结312

第3篇 MapReduce计算框架及RPC通信模型313

第7章 MapReduce的输入和输出313

7.1 输入格式InputFormat313

7.1.1 InputFormat抽象类313

7.1.2 FileInputFormat文件输入格式315

7.1.3 TextInputFormat文本文件输入格式317

7.1.4 KeyValueTextInputFormat键值对文件输入格式317

7.1.5 CombineFileInputFormat组合文件输入格式317

7.1.6 SequenceFileInputFormat序列文件输入格式319

7.1.7 DBInputFormat数据库输入格式320

7.1.8 MultipleInputs多种输入格式322

7.1.9 DelegatingInputFormat授权输入格式324

7.2 输入分片InputSplit326

7.2.1 FileSplit文件输入分片326

7.2.2 CombineFileSplit多文件输入分片327

7.2.3 DBInputSplit数据库输入分片328

7.3 记录读取器RecordReader328

7.3.1 LineRecordReader行记录读取器330

7.3.2 KeyValueLineRecordReader键值对记录读取器332

7.3.3 CombineFileRecordReader组合文件记录读取器332

7.3.4 SequenceFileRecordReader序列文件记录读取器333

7.3.5 SequenceFileAsTextRecordReader和SequenceFileAsBinaryRecordReader334

7.3.6 DBRecordReader数据库记录读取器334

7.4 输出格式OutputFormat335

7.4.1 OutputFormat抽象类335

7.4.2 FileOutputFormat文件输出格式337

7.4.3 TextOutputFormat文本格式的文件输出格式339

7.4.4 SequenceFileOutputFormat普通序列文件输出格式340

7.4.5 SequenceFileAsBinaryOutputFormat二进制序列文件输出格式340

7.4.6 FilterOutputFormat过滤器输出格式341

7.4.7 DBOutputFormat数据库输出格式341

7.4.8 MultipleOutputs多种输出格式342

7.5 记录写入器RecordWriter344

7.5.1 DBRecordWriter数据库记录写入器345

7.5.2 FilterRecordWriter过滤器记录写入器346

7.5.3 LineRecordWriter文本行记录写入器346

7.6 输出提交器OutputCommitter347

7.6.1 OutputCommitter输出提交器348

7.6.2 FileOutputCommitter文件输出提交器348

7.7 小结351

第8章 Hadoop中的Context和ID352

8.1 Hadoop运行过程中的Context上下文352

8.1.1 JobContext作业上下文353

8.1.2 Job作业354

8.1.3 TaskAttemptContext任务尝试上下文358

8.1.4 TaskInputOutputContext任务输入输出上下文358

8.1.5 MapContext Mapper执行的上下文360

8.1.6 ReduceContext Reducer执行的上下文360

8.2 Hadoop运行过程中的ID类364

8.2.1 ID类365

8.2.2 JobID作业ID365

8.2.3 TaskID任务ID367

8.2.4 TaskAttemptID任务尝试ID368

8.3 小结368

第9章 Hadoop的计算模型MapReduce369

9.1 Map处理过程369

9.1.1 Mapper概述369

9.1.2 Mapper源代码分析370

9.1.3 InverseMapper反转Mapper371

9.1.4 TokenCounterMapper标记计数Mapp er372

9.1.5 MultithreadedMapper多线程Mapper372

9.1.6 FieldSelectionMapper字段选择Mapper375

9.1.7 DelegatingMapper授权Mapper376

9.2 Reducer处理过程376

9.2.1 Reducer概述376

9.2.2 Reducer源代码377

9.2.3 IntSumReducer和LongSumReducer378

9.2.4 FieldSelectionReducer字段选择Reducer379

9.3 Partitioner分区处理过程379

9.3.1 Partitioner概述379

9.3.2 Partitioner源代码380

9.3.3 HashPartitioner hash分区380

9.3.4 BinaryPartitioner二进制分区380

9.3.5 KeyFieldBasedPartitioner基于键字段的分区382

9.3.6 TotalOrderPartitioner全排序分区383

9.4 小结387

第10章 JobClient的执行过程分析388

10.1 MapReduce作业处理过程概述388

10.1.1 JobConfMapReduce作业的配置信息389

10.1.2 JobSubmissionProtocol作业提交的接口392

10.1.3 RunningJob正在运行的Job作业的接口394

10.1.4 JobStatus和JobProfile作业状态信息和注册信息396

10.1.5 JobSubmissionFiles获得作业提交的文件399

10.2 JobClient提交作业流程401

10.3 JobClient提交Job的客户端401

10.4 小结412

第11章 JobTracker的执行过程分析413

11.1 JobTracker处理过程概述413

11.2 JobInfo作业信息413

11.3 Counters计数器414

11.4 Queue Job队列对象417

11.5 QueueManager Job队列管理对象418

11.6 JobInProgress正在处理的作业420

11.7 JobTracker对JobClient提交的作业的处理437

11.8 JobTracker的启动以及Job的初始化441

11.9 JobTracker的其他源代码分析445

11.10 JobTracker中的作业恢复管理器RecoveryManager459

11.11 JobInProgressListener和JobQueueJobInProgressListener465

11.12 小结467

第12章 Hadoop的作业调度器468

12.1 Hadoop作业调度器概述468

12.2 TaskScheduler调度器的抽象父类469

12.3 JobQueueTaskScheduler FIFO调度器470

12.4 LimitTasksPerJobTaskScheduler任务数限制FIFO调度器475

12.5 CapacityTaskScheduler计算能力调度器477

12.6 FairScheduler公平调度器488

12.7 小结504

第13章 TaskTracker的执行过程505

13.1 TaskTracker的启动505

13.2 TaskTracker与JobTracker进行通信的组件InterTrackerProtocol509

13.3 JobTracker返回给TaskTracker的Action的类型511

13.4 TaskTracker向JobTracker发送心跳的过程512

13.5 TaskTracker的任务处理过程521

13.6 TaskTracker的其他源代码分析526

13.7 TaskStatus任务的状态信息544

13.8 TaskInProgress正在处理的任务548

13.9 Task所有任务的父类555

13.10 MapTask执行过程概述566

13.11 MapOutputBufferMap输出缓冲区568

13.12 ReduceTask执行过程概述585

13.13 ReduceCopier Reduce的Copy和Merge执行工具591

13.14 小结612

第14章 Hadoop的RPC协议613

14.1 Hadoop RPC概念概述613

14.2 RPC协议接口614

14.2.1 ClientDatanodeProtocol客户端与DataNode进行通信的协议614

14.2.2 ClientProtocol客户端和NameNode进行通信的协议615

14.2.3 DatanodeProtocol DataNode与NameNode进行通信的协议617

14.2.4 InterDatanodeProtocol DataNode之间进行通信的协议618

14.2.5 NamenodeProtocol SecondaryNameNode与NameNode进行通信的协议619

14.2.6 InterTrackerProtocol TaskTracker与JobTracker进行通信的协议619

14.2.7 JobSubmissionProtocol JobClient与JobTracker进行通信的协议620

14.2.8 TaskUmbilicalProtocol Child进程与TaskTracker父进程进行通信的协议622

14.3 RPC的客户端和服务器端的实现623

14.3.1 Client客户端623

14.3.2 Server服务端631

14.4 小结644