Presto技术内幕2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Presto技术内幕PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 基础篇2

第1章 Presto概述2

1.1 Presto背景及发展2

1.2 Presto特点2

1.3 基本概念3

1.3.1 Presto服务进程3

1.3.2 Presto模型4

1.3.3 Presto查询执行模型5

1.4 Presto整体架构9

1.4.1 硬件架构9

1.4.2 软件架构9

1.5 小结11

第2章 Presto安装与部署12

2.1 环境说明12

2.2 准备工作13

2.2.1 建立SSH信任关系13

2.2.2 安装Java17

2.2.3 安装Maven17

2.2.4 安装Hive18

2.3 源码编译21

2.3.1 下载源码21

2.3.2 源码结构说明22

2.3.3 编译26

2.4 部署30

2.4.1 服务部署30

2.4.2 客户端部署38

2.4.3 JDBC使用40

2.5 小结42

第二部分 核心设计篇44

第3章 Presto RESTful框架解析44

3.1 Statement服务接口44

3.2 Query服务接口47

3.3 Stage服务接口48

3.4 Task服务接口49

3.5 小结52

第4章 提交查询53

4.1 提交查询的步骤53

4.2 源码解析53

4.3 提交查询的流程60

4.4 小结61

第5章 生成查询执行计划62

5.1 基本概念63

5.1.1 Node63

5.1.2 Metadata API67

5.2 词法与语法分析68

5.2.1 语法规则69

5.2.2 词法分析69

5.2.3 语法分析71

5.3 获取QueryExecution72

5.3.1 获取QueryExecutionFactory72

5.3.2 创建QueryExecution73

5.3.3 启动QueryExecution74

5.4 语义分析77

5.4.1 Statement分析77

5.4.2 Relation分析84

5.4.3 表达式分析91

5.5 执行计划生成91

5.5.1 执行计划节点91

5.5.2 SQL执行计划93

5.5.3 Relation执行计划95

5.5.4 Query执行计划99

5.6 执行计划优化102

5.6.1 ImplementSampleAsFilter102

5.6.2 CanonicalizeExpressions102

5.6.3 SimplifyExpressions102

5.6.4 UnaliasSymbolReferences103

5.6.5 PruneRedundantProjections103

5.6.6 SetFlatteningOptimizer103

5.6.7 LimitPushDown104

5.6.8 PredicatePushDown104

5.6.9 MergeProjections104

5.6.10 ProjectionPushDown104

5.6.11 IndexJoinOptimizer105

5.6.12 CountConstantOptimizer105

5.6.13 WindowFilterPushDown105

5.6.14 HashGenerationOptimizer105

5.6.15 PruneUnreferencedOutputs106

5.6.16 MetadataQueryOptimizer106

5.6.17 SingleDistinctOptimizer106

5.6.18 BeginTableWrite106

5.6.19 AddExchanges107

5.6.20 PickLayout107

5.7 执行计划分段107

5.7.1 Source107

5.7.2 Fixed107

5.7.3 Single107

5.7.4 Coordinator only107

5.8 示例108

5.8.1 Count执行计划108

5.8.2 Join执行计划108

5.9 小结110

第6章 查询调度111

6.1 生成调度执行器111

6.2 查询调度过程113

6.2.1 NodeManager114

6.2.2 NodeSelector115

6.3 小结118

第7章 查询执行119

7.1 查询执行逻辑120

7.2 Task调度120

7.2.1 Source Task调度120

7.2.2 Fixed Task调度126

7.2.3 Single Task调度128

7.2.4 Coordinator＿Only Task调度128

7.3 Task执行129

7.3.1 创建Task129

7.3.2 更新Task135

7.3.3 运行Task140

7.4 小结147

第8章 队列148

8.1 配置说明148

8.1.1 queues队列定义149

8.1.2 rules规则定义149

8.2 队列加载150

8.3 队列匹配151

8.4 小结154

第9章 System Connector155

9.1 System Connector使用155

9.1.1 Information schema155

9.1.2 Metadata157

9.1.3 Runtime157

9.2 System Connector实现159

9.2.1 Information schema实现160

9.2.2 System Connector实现163

9.3 小结168

第10章 Hive Connector169

10.1 与Hive的结合170

10.2 Split分片管理175

10.3 数据读取179

10.4 Create Table As Select的实现182

10.5 小结186

第11章 Kafka Connector187

11.1 认识Kafka Connector187

11.1.1 配置187

11.1.2 配置属性187

11.1.3 内置字段189

11.1.4 表定义文件190

11.1.5 Kafka中的key和message191

11.1.6 行解码192

11.1.7 日期和时间解码器194

11.1.8 文本解码器194

11.1.9 数值解码器194

11.2 Kafka连接器使用教程194

11.2.1 安装Apache Kafka195

11.2.2 下载数据195

11.2.3 在Presto中配置Kafka topics197

11.2.4 基本数据查询197

11.2.5 添加表定义文件199

11.2.6 将message中所有值映射到不同列200

11.2.7 使用实时数据202

11.3 Kafka Connector获取数据207

11.3.1 Split分片管理207

11.3.2 数据读取209

11.4 小结210

第12章 Connector开发211

12.1 创建Maven工程211

12.2 注册Plugin213

12.3 Connector213

12.4 Metadata215

12.5 SplitManager217

12.6 RecordSetProvider218

12.7 小结219

第13章 Functions开发220

13.1 Function注册220

13.2 窗口函数225

13.3 聚合函数229

13.4 小结232

第三部分 高级篇234

第14章 JD-Presto功能改造234

14.1 PDBO功能开发234

14.1.1 JDBC Split剖析235

14.1.2 JdbcRecordCursor剖析238

14.1.3 分批次读取实现原理240

14.1.4 动态步长实现原理243

14.1.5 条件下发245

14.1.6 PDBO配置定义247

14.2 DDL及D ML支持250

14.2.1 Hive连接器Insert功能250

14.2.2 Hive连接器CTAS动态分区表功能252

14.3 动态增加、修改、删除Catalog254

14.3.1 目的254

14.3.2 现状254

14.3.3 实现255

14.3.4 效果258

14.4 小结258

第15章 Presto性能调优259

15.1 合理设计分区259

15.2 Group By字句优化259

15.3 使用模糊聚合函数259

15.4 合并多条Like子句为一条regexp＿like子句260

15.5 大表放在Join子句左边260

15.6 关闭distributed hash join261

15.7 使用ORC存储261

15.8 小结262

第16章 Presto应用场景263

16.1 ETL263

16.2 实时数据计算264

16.3 Ad-Hoc查询266

16.4 实时数据流分析266

16.5 小结268

附录A 常见问题及解决办法269

A.1 同时访问两个Hadoop集群269

A.2 Kafka集群重启后无法获取数据272

A.3 Task exceeded max memory size277

A.4 SQL中In子句太长导致栈溢出错误278

A.5 高并发导致大量查询出错279

附录B Presto配置参数说明282

附录C Presto执行信息说明289