Greenplum企业应用实战2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Greenplum企业应用实战PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

上篇 基础篇2

第1章 Greenplum简介2

1.1 Greenplum的起源和发展历程2

1.2 OLTP与OLAP3

1.3 PostgreSQL与Greenp lum的关系3

1.3.1 PostgreSQL3

1.3.2 Greenplum5

1.4 Greenplum特性及应用场景6

1.4.1 Greenplum特性6

1.4.2 Greenplum应用场景7

1.5 小结8

第2章 Greenplum快速入门9

2.1 软件安装及数据库初始化9

2.1.1 Greenplum架构9

2.1.2 环境搭建11

2.1.3 Greenplum安装13

2.1.4 创建数据库20

2.1.5 数据库启动与关闭20

2.2 安装Greenplum的常见问题22

2.2.1 /etc/hosts配置错误22

2.2.2 MASTER_DATA_DIRECTORY设置错误24

2.3 畅游Greenplum25

2.3.1 如何访问Greenplum25

2.3.2 数据库整体概况27

2.3.3 基本语法介绍28

2.3.4 常用数据类型35

2.3.5 常用函数37

2.3.6 分析函数43

2.3.7 分区表46

2.3.8 外部表49

2.3.9 COPY命令51

2.4 小结52

第3章 Greenplum实战53

3.1 历史拉链表53

3.1.1 应用场景描述53

3.1.2 原理及步骤54

3.1.3 表结构55

3.1.4 Demo数据准备57

3.1.5 数据加载58

3.1.6 数据刷新61

3.1.7 分区裁剪64

3.1.8 数据导出64

3.2 日志分析65

3.2.1 应用场景描述65

3.2.2 数据Demo65

3.2.3 日志分析实战66

3.3 数据分布68

3.3.1 数据分散情况查看69

3.3.2 数据加载速度影响69

3.3.3 数据查询速度影响72

3.4 数据压缩73

3.4.1 数据加载速度影响73

3.4.2 数据查询速度影响74

3.5 索引75

3.6 小结75

中篇 进阶篇78

第4章 数据字典详解78

4.1 oid无处不在78

4.2 数据库集群信息80

4.2.1 Gp_configuration和gp_segment_configuration80

4.2.2 Gp id82

4.2.3 Gp_configuration_history84

4.2.4 pg_filespace_entry84

4.2.5 集群配置信息表转化84

4.3 常用数据字典85

4.3.1 pg_class85

4.3.2 pg_attribute88

4.3.3 gp_distribution_policy89

4.3.4 pg_statistic和pg_stats90

4.4 分区表信息90

4.4.1 如何实现分区表91

4.4.2 pg_partition91

4.4.3 pg_partition_rule92

4.4.4 pg_partitions视图及其优化93

4.5 自定义类型以及类型转换94

4.6 主、备节点同步的相关数据字典95

4.7 数据字典应用示例96

4.7.1 获取表的字段信息96

4.7.2 获取表的分布键96

4.7.3 获取一个视图的定义97

4.7.4 查询comment（备注信息）98

4.7.5 获取数据库建表语句99

4.7.6 查询表上的视图103

4.7.7 查询表的数据文件创建时间104

4.7.8 分区表总大小106

4.7.9 如何分析数据字典变化108

4.7.10 获取数据库锁信息111

4.8 Gp toolkit介绍112

4.9 小结114

第5章 执行计划详解115

5.1 执行计划入门115

5.1.1 什么是执行计划115

5.1.2 查看执行计划116

5.2 分布式执行计划概述116

5.2.1 架构116

5.2.2 重分布与广播117

5.2.3 Greenplum Master的工作119

5.3 Greenplum执行计划中的术语120

5.3.1 数据扫描方式120

5.3.2 分布式执行121

5.3.3 两种聚合方式122

5.3.4 关联123

5.3.5 SQL消耗126

5.3.6 其他术语126

5.4 数据库统计信息收集128

5.4.1 Analyze分析128

5.4.2 固定执行计划129

5.5 控制执行计划的参数介绍130

5.6 规划器开销的计算方法131

5.7 各种执行计划原理分析133

5.7.1 详解关联的广播与重分布133

5.7.2 HashAggregate与GroupAggregate137

5.7.3 Nestloop Join、Hash Join与Merge Join141

5.7.4 分析函数：开窗函数和grouping sets142

5.8 案例144

5.8.1 关联键强制类型转换，导致重分布144

5.8.2 统计信息过期145

5.8.3 执行计划出错145

5.8.4 分布键选择不恰当147

5.8.5 计算distinct148

5.8.6 union与union all150

5.8.7 子查询notin152

5.8.8 聚合函数太多导致内存不足154

5.9 小结155

第6章 Greenplum高级应用156

6.1 Appendonly表与压缩表157

6.1.1 应用场景及语法介绍157

6.1.2 压缩表的性能差异157

6.1.3 Appendonly表特性158

6.1.4 相关数据字典164

6.2 列存储165

6.2.1 应用场景165

6.2.2 数据文件存储特性166

6.2.3 如何使用列存储166

6.2.4 性能比较166

6.3 外部表高级应用168

6.3.1 外部表实现原理168

6.3.2 可写外部表171

6.3.3 HDFS外部表173

6.3.4 可执行外部表177

6.4 自定义函数——各个编程接口179

6.4.1 pl/pgsql180

6.4.2 C语言接口182

6.4.3 plpython185

6.5 Greenplum MapReduce187

6.6 小结193

第7章 Greenplum架构介绍195

7.1 并行和分布式计算195

7.2 并行数据库197

7.3 Greenplum架构分析198

7.4 冗余与故障切换199

7.5 数据分布及负载均衡200

7.6 跨库关联202

7.7 分布式事务203

7.8 其他大数据分析方案205

7.9 小结208

下篇 管理篇210

第8章 Greenplum线上环境部署210

8.1 服务器硬件选型210

8.1.1 CPU211

8.1.2 内存211

8.1.3 磁盘及硬盘接口211

8.1.4 网络213

8.2 服务器系统参数调整213

8.2.1 Solaris参数修改214

8.2.2 Linux参数修改216

8.2.3 系统参数及性能验证217

8.3 计算节点分配技巧221

8.4 数据库参数介绍221

8.5 数据库集群基准测试225

8.6 小结227

第9章 数据库管理228

9.1 用户及权限管理228

9.1.1 Greenplum数据库逻辑结构228

9.1.2 Grant语法229

9.2 登录权限控制231

9.3 资源队列及并发控制232

9.4 Greenplum锁机制236

9.5 数据目录结构238

9.6 数据文件存储分布240

9.7 表空间管理241

9.8 小结244

第10章 数据库监控及调优245

10.1 Linux监控工具介绍245

10.1.1 监控磁盘245

10.1.2 监控网络246

10.1.3 监控CPU247

10.1.4 监控内存247

10.2 安装Performance Monitor248

10.3 监控Segment是否正常252

10.4 VACUUM系统表253

10.5 数据倾斜排查255

10.6 查看子节点的SQL运行状态258

10.7 自动加分区261

10.8 自动赋权266

10.9 清理过期数据266

10.10 小结267

第11章 解读Greenplum维护脚本268

11.1 添加Greenplum Contrib模块268

11.2 启动和关闭脚本gpstart和gpstop270

11.3 初始化系统脚本gpinitsystem272

11.4 集群操作脚本gpssh和gpscp274

11.5 数据库状态检查脚本gpstate275

11.6 数据库升级脚本gpmigrate276

11.7 参数修改脚本gpconfig281

11.8 数据库一致性检查脚本gpcheckcat282

11.9 小结284

第12章 备份及恢复策略286

12.1 Greenplum 3.x286

12.2 Greenplum 4.x287

12.3 gp_dump和pg_dump290

12.4 Greenplum Master备份策略294

12.4.1 增加Standby Master295

12.4.2 重新同步Standby Master296

12.4.3 启用Standby Master296

12.5 小结297

第13章 数据库扩容299

13.1 迁移计算节点299

13.1.1 两种备份方案300

13.1.2 数据迁移实战301

13.2 增加计算节点306

13.3 小结311

第14章 基于Greenplum的海量数据实时分析服务平台312

14.1 需求概述312

14.2 典型方案313

14.2.1 NoSQL313

14.2.2 分布式数据库／集群314

14.2.3 分表分库315

14.2.4 方案优劣分析316

14.3 基于Greenplum的混合架构316

14.3.1 架构分析317

14.3.2 实施要点317

14.4 小结318

第15章 使用Greenplum的常见报错及小技巧319

15.1 分析常见报错319

15.1.1 找不到类型705对应的操作符319

15.1.2 SQL占用的资源超过了资源队列限制321

15.1.3 自定义函数不能在Segment上执行321

15.1.4 子查询没有加别名322

15.1.5 字段名有歧义322

15.1.6 字段重名323

15.1.7 gpfdist错误：无法读取文件323

15.1.8 事务被中止324

15.1.9 网络异常错误324

15.1.10 无法删除表324

15.1.11 内存不足325

15.1.12 文件名在pg_class中已存在325

15.1.13 不能对分布键执行Update325

15.1.14 网络错误326

15.1.15 无法找到数据文件326

15.2 常见问题及解决办法326

15.3 常用的一些小技巧329

15.3.1 显示SQL执行的时间330

15.3.2 获取某个schema下所有的表或视图330

15.3.3 查找分区最多的表330

15.3.4 连接Segment节点331

15.3.5 psql默认密码登录331

15.3.6 查看数据库启动时间331

15.3.7 查看在psql中＼d到底查询了哪些数据字典331

15.4 小结332