大数据开发与应用2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大数据开发与应用PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 概论1

1.1大数据技术简介2

1.1.1大数据技术的起源2

1.1.2大数据应用领域3

1.1.3大数据基础设施4

1.2大数据技术与大数据开发6

1.2.1什么是大数据开发6

1.2.2大数据开发的作用7

1.2.3大数据开发技术框架8

1.2.4大数据开发与大数据分析的异同10

1.3本书中你将学习到的内容11

本章小结12

本章练习12

第2章 Hadoop集群环境搭建13

2.1Hadoop简介14

2.1.1Hadoop的优点14

2.1.2Hadoop生态系统14

2.2Hadoop集群环境搭建15

2.2.1修改主机名15

2.2.2修改主机IP映射15

2.2.3配置SSH无密码登录16

2.2.4安装JDK17

2.2.5安装Hadoop18

本章小结21

本章练习22

第3章 HDFS23

3.1HDFS的概念24

3.2HDFS的特点24

3.3HDFS的原理25

3.3.1HDFS体系结构25

3.3.2HDFS主要组件26

3.4HDFS中的文件读/写29

3.4.1HDFS读数据29

3.4.2HDFS写数据29

3.5HDFS的安全性措施30

3.6HDFS命令行操作32

3.7常用HDFS Java API详解33

3.7.1新建Hadoop项目33

3.7.2读取数据34

3.7.3创建目录35

3.7.4创建文件35

3.7.5删除文件36

3.7.6遍历文件和目录36

3.7.7复制上传本地文件38

3.7.8复制下载文件39

本章小结39

本章练习40

第4章 MapReduce41

4.1MapReduce概述42

4.2MapReduce技术特征42

4.3MapReduce工作流程44

4.3.1MapReduce工作原理44

4.3.2MapReduce任务流程45

4.4MapReduce工作组件46

4.5MapReduce错误处理机制47

4.5.1硬件故障处理47

4.5.2任务失败处理48

4.6案例分析一：单词计数48

4.6.1设计思路49

4.6.2程序源代码49

4.6.3程序解读51

4.6.4程序运行55

4.7案例分析二：数据去重57

4.7.1设计思路58

4.7.2程序源代码58

4.7.3程序解读59

4.7.4程序运行60

本章小结60

本章练习60

第5章 ZooKeeper61

5.1ZooKeeper简介62

5.1.1主要优势62

5.1.2总体架构62

5.1.3应用场景63

5.2ZooKeeper的特性64

5.2.1数据模型64

5.2.2节点类型65

5.2.3Watcher机制66

5.2.4分布式锁67

5.2.5权限控制69

5.3ZooKeeper问题与应对69

5.4ZooKeeper安装和配置70

5.4.1单机模式70

5.4.2集群模式71

5.4.3伪分布模式73

5.5ZooKeeper命令行工具75

5.6ZooKeeper Java API77

5.6.1常用接口77

5.6.2创建节点78

5.6.3添加数据79

5.6.4获取数据79

5.6.5删除节点81

本章小结81

本章练习82

第6章 HBase83

6.1HBase简介84

6.2HBase与RDBMS84

6.3HBase数据结构85

6.3.1相关概念86

6.3.2存储特点87

6.4HBase组成架构88

6.4.1HMaster88

6.4.2HRegionServer89

6.4.3HRegion89

6.4.4ZooKeeper90

6.4.5HFile90

6.4.6HLog90

6.5HBase表结构91

6.6HBase集群安装92

6.6.1单机模式92

6.6.2伪分布模式93

6.6.3全分布模式94

6.7HBase Shell96

6.8HBase Java API的基本操作98

6.8.1创建Java工程98

6.8.2创建表99

6.8.3添加数据100

6.8.4查询数据101

6.8.5删除数据102

6.9HBase过滤器102

6.9.1过滤器简介103

6.9.2行键过滤器104

6.9.3列族过滤器104

6.9.4列过滤器105

6.9.5值过滤器105

6.9.6单列值过滤器105

本章小结106

本章练习106

第7章 Hive107

7.1Hive简介108

7.1.1系统结构和工作方式108

7.1.2Hive数据模型110

7.1.3Hive内置服务111

7.2Hive环境搭建112

7.3Hive命令行114

7.3.1Hive CLI交互式命令行114

7.3.2hive命令115

7.4HiveQL详解116

7.4.1DDL操作116

7.4.2DML操作128

7.5Hive JDBC132

7.5.1配置和启动HiveServer2132

7.5.2JDBC访问Hive133

7.5.3JDBC示例代码134

本章小结138

本章练习138

第8章 Storm139

8.1简介140

8.1.1基础知识140

8.1.2集群环境搭建144

8.2Topology入门146

8.2.1Hello World Topology146

8.2.2Topology生命周期154

8.3命令行和UI156

8.3.1常用命令行简介157

8.3.2Storm UI简介159

8.4常用API详解166

8.4.1TopologyBuilder167

8.4.2Component168

本章小结172

本章练习172

第9章 Sqoop173

9.1Sqoop简介174

9.1.1Sqoop基本架构174

9.1.2Sqoop实际应用175

9.2导入/导出工具175

9.2.1数据导入工具import176

9.2.2数据导出工具export177

9.3Sqoop安装与配置177

9.4案例分析：使用Sqoop进行数据导入/导出178

9.4.1将MySQL表数据导入到HDFS中179

9.4.2将HDFS中的数据导出到MySQL中180

9.4.3将MySQL表数据导入到HBase中180

本章小结182

本章练习182

第10章 Kafka183

10.1Kafka简介184

10.1.1基本概念185

10.1.2集群架构186

10.1.3主题和分区186

10.1.4消费者组187

10.1.5主要特性188

10.1.6应用场景189

10.2Kafka集群搭建190

10.2.1前提条件190

10.2.2搭建步骤191

10.3Kafka集群测试192

10.3.1创建主题192

10.3.2查询主题193

10.3.3创建生产者193

10.3.4创建消费者193

10.4Kafka Java API194

10.4.1创建生产者194

10.4.2创建消费者196

10.4.3运行程序198

本章小结199

本章练习200

第11章 Spark201

11.1Spark简介202

11.1.1Spark基本概念202

11.1.2Spark的优势205

11.1.3Spark的核心组件206

11.1.4Spark应用程序执行流程207

11.2Spark集群环境搭建208

11.2.1前提条件208

11.2.2搭建步骤209

11.3Spark Shell命令操作211

11.4Spark编程214

11.4.1IntelliJ IDEA开发环境搭建214

11.4.2初始化SparkContext226

11.4.3向Spark提交应用程序226

11.4.4RDD编程229

11.5Spark数据读写236

11.5.1Spark文件的读取与保存236

11.5.2文件系统和数据库简介239

本章小结239

本章练习240

第12章 ElasticSearch241

12.1简介242

12.1.1ES的起源242

12.1.2ES的功能特性242

12.1.3ES的应用场景243

12.2基础知识244

12.2.1基本概念244

12.2.2面向文档246

12.2.3与ES交互247

12.3环境搭建249

12.4RESTful API简介252

12.4.1集群操作252

12.4.2文档操作254

12.4.3数据操作257

12.5Java API简介268

12.5.1传输客户端简介268

12.5.2文档API269

12.5.3搜索API274

本章小结277

本章练习277