离线和实时大数据开发实战2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

离线和实时大数据开发实战PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一篇 数据大图和数据平台大图2

第1章 数据大图2

1.1数据流程2

1.1.1数据产生3

1.1.2数据采集和传输5

1.1.3数据存储处理6

1.1.4数据应用7

1.2数据技术8

1.2.1数据采集传输主要技术9

1.2.2数据处理主要技术10

1.2.3数据存储主要技术12

1.2.4数据应用主要技术13

1.3数据相关从业者和角色14

1.3.1数据平台开发、运维工程师14

1.3.2数据开发、运维工程师15

1.3.3数据分析工程师15

1.3.4算法工程师16

1.3.5业务人员16

1.4本章小结17

第2章 数据平台大图18

2.1离线数据平台的架构、技术和设计19

2.1.1离线数据平台的整体架构19

2.1.2数据仓库技术20

2.1.3数据仓库建模技术23

2.1.4数据仓库逻辑架构设计26

2.2实时数据平台的架构、技术和设计27

2.2.1实时数据平台的整体架构28

2.2.2流计算技术29

2.2.3主要流计算开源框架29

2.3数据管理32

2.3.1数据探查32

2.3.2数据集成33

2.3.3数据质量33

2.3.4数据屏蔽34

2.4本章小结35

第二篇 离线数据开发：大数据开发的主战场38

第3章 Hadoop原理实践38

3.1开启大数据时代的Hadoop38

3.2 HDFS和MapReduce优缺点分析40

3.2.1 HDFS41

3.2.2 MapReduce42

3.3 HDFS和MapReduce基本架构43

3.4 MapReduce内部原理实践46

3.4.1 MapReduce逻辑开发46

3.4.2 MapReduce任务提交详解47

3.4.3 MapReduce内部执行原理详解48

3.5本章小结52

第4章 Hive原理实践53

4.1离线大数据处理的主要技术：Hive53

4.1.1 Hive出现背景53

4.1.2 Hive基本架构55

4.2 Hive SQL56

4.2.1 Hive关键概念57

4.2.2 Hive数据库59

4.2.3 Hive表DDL60

4.2.4 Hive表DML63

4.3 Hive SQL执行原理图解65

4.3.1 select语句执行图解66

4.3.2 group by语句执行图解67

4.3.3 join语句执行图解69

4.4 Hive函数73

4.5其他SQL on Hadoop技术74

4.6本章小结76

第5章 Hive优化实践77

5.1离线数据处理的主要挑战：数据倾斜77

5.2 Hive优化79

5.3 join无关的优化79

5.3.1 group by引起的倾斜优化79

5.3.2 count distinct优化80

5.4大表join小表优化80

5.5大表join大表优化82

5.5.1问题场景82

5.5.2方案1：转化为mapjoin83

5.5.3方案2： join时用case when语句84

5.5.4方案3：倍数B表，再取模join84

5.5.5方案4：动态一分为二87

5.6本章小结89

第6章 维度建模技术实践90

6.1大数据建模的主要技术：维度建模90

6.1.1维度建模关键概念91

6.1.2维度建模一般过程95

6.2维度表设计96

6.2.1维度变化96

6.2.2维度层次99

6.2.3维度一致性100

6.2.4维度整合和拆分101

6.2.5维度其他102

6.3深入事实表104

6.3.1事务事实表104

6.3.2快照事实表106

6.3.3累计快照事实表107

6.3.4无事实的事实表108

6.3.5汇总的事实表108

6.4大数据的维度建模实践109

6.4.1事实表109

6.4.2维度表110

6.5本章小结110

第7章 Hadoop数据仓库开发实战111

7.1业务需求112

7.2 Hadoop数据仓库架构设计113

7.3 Hadoop数据仓库规范设计114

7.3.1命名规范115

7.3.2开发规范115

7.3.3流程规范116

7.4 FutureRetailer数据仓库构建实践118

7.4.1商品维度表118

7.4.2销售事实表120

7.5数据平台新架构——数据湖121

7.6本章小结123

第三篇 实时数据开发：大数据开发的未来127

第8章 Storm流计算开发127

8.1流计算技术的鼻祖：Storm技术128

8.1.1 Storm基本架构129

8.1.2 Storm关键概念130

8.1.3 Storm并发132

8.1.4 Storm核心类和接口133

8.2 Storm实时开发示例133

8.2.1语句生成spout134

8.2.2语句分割bolt135

8.2.3单词计数bolt136

8.2.4上报bolt136

8.2.5单词计数topology137

8.2.6单词计数并发配置139

8.3 Storm高级原语Trident142

8.3.1 Trident引入背景142

8.3.2 Trident基本思路142

8.3.3 Trident流操作143

8.3.4 Trident的实时开发实例145

8.4 Storm关键技术147

8.4.1 spout的可靠性147

8.4.2 bolt的可靠性148

8.4.3 Storm反压机制149

8.5本章小结150

第9章 Spark Streaming流计算开发151

9.1 Spark生态和核心概念151

9.1.1 Spark概览151

9.1.2 Spark核心概念153

9.1.3 Spark生态圈157

9.2 Spark生态的流计算技术：Spark Streaming158

9.2.1 Spark Streaming基本原理159

9.2.2 Spark Streaming核心API159

9.3 Spark Streaming的实时开发示例161

9.4 Spark Streaming调优实践162

9.5 Spark Streaming关键技术164

9.5.1 Spark Streaming可靠性语义164

9.5.2 Spark Streaming反压机制165

9.6本章小结166

第10章 Flink流计算开发167

10.1流计算技术新贵：Flink167

10.1.1 Flink技术栈168

10.1.2 Flink关键概念和基本原理169

10.2 Flink API172

10.2.1 API概览172

10.2.2 DataStream API173

10.3 Flink实时开发示例180

10.4 Flink关键技术详解182

10.4.1容错机制182

10.4.2水位线184

10.4.3窗口机制185

10.4.4撤回187

10.4.5反压机制187

10.5本章小结188

第11章 Beam技术189

11.1意图一统流计算的Beam190

11.1.1 Beam的产生背景190

11.1.2 Beam技术191

11.2 Beam技术核心：Beam Model193

11.3 Beam SDK196

11.3.1关键概念196

11.3.2 Beam SDK197

11.4 Beam窗口详解202

11.4.1窗口基础202

11.4.2水位线与延迟数据203

11.4.3触发器204

11.5本章小结205

第12章 Stream SQL实时开发实战206

12.1流计算SQL原理和架构207

12.2流计算SQL：未来主要的实时开发技术208

12.3 Stream SQL209

12.3.1 Stream SQL源表209

12.3.2 Stream SQL结果表209

12.3.3 Stream SQL维度表210

12.3.4 Stream SQL临时表211

12.3.5 Stream SQL DML211

12.4 Stream SQL的实时开发实战212

12.4.1 select操作212

12.4.2 join操作214

12.4.3聚合操作218

12.5撤回机制221

12.6本章小结222

参考文献224