云计算与大数据技术2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

云计算与大数据技术PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 云计算概论1

1.1 什么是云计算1

1.2 云计算的产生背景1

1.3 云计算的发展历史2

1.4 如何学好云计算3

习题3

第2章 云计算基础4

2.1 分布式计算4

2.2 云计算的基本概念5

2.3 云计算的关键技术6

2.3.1 分布式海量数据存储7

2.3.2 虚拟化技术7

2.3.3 云平台技术8

2.3.4 并行编程技术8

2.3.5 数据管理技术9

2.4 云交付模型9

2.4.1 软件即服务9

2.4.2 平台即服务10

2.4.3 基础设施即服务11

2.4.4 基本云交付模型的比较12

2.4.5 容器即服务12

2.5 云部署模式13

2.5.1 公有云14

2.5.2 私有云14

2.5.3 混合云14

2.6 云计算的优势与挑战14

2.7 典型云应用16

2.7.1 云存储17

2.7.2 云服务17

2.7.3 云物联18

2.8 云计算与大数据18

习题20

第3章 虚拟化21

3.1 虚拟化简介21

3.1.1 什么是虚拟化21

3.1.2 虚拟化的发展历史22

3.1.3 虚拟化带来的好处23

3.2 虚拟化的分类24

3.2.1 服务器虚拟化24

3.2.2 网络虚拟化25

3.2.3 存储虚拟化26

3.2.4 应用虚拟化26

3.2.5 技术比较27

3.3 系统虚拟化28

3.4 虚拟化与云计算29

3.5 开源技术30

3.5.1 Xen30

3.5.2 KVM31

3.5.3 OpenVZ31

3.6 虚拟化未来发展趋势32

习题33

第4章 云计算的应用34

4.1 概述34

4.2 Google公司的云计算平台与应用36

4.2.1 MapReduce分布式编程环境36

4.2.2 分布式大规模数据库管理系统BigTable37

4.2.3 Google的云应用37

4.3 亚马逊的弹性计算云38

4.3.1 开放的服务38

4.3.2 灵活的工作模式39

4.3.3 总结39

4.4 IBM蓝云云计算平台40

4.4.1 蓝云云计算平台中的虚拟化41

4.4.2 蓝云云计算平台中的存储结构42

4.5 清华大学透明计算平台43

4.6 阿里云44

4.6.1 阿里云简介44

4.6.2 阿里云的发展过程44

4.6.3 阿里云的主要产品46

4.7 Microsoft Azure49

4.7.1 Microsoft Azure简介49

4.7.2 Microsoft Azure架构50

4.7.3 Microsoft Azure服务平台50

4.7.4 开发步骤51

习题52

第5章 大数据概念和发展背景53

5.1 什么是大数据53

5.2 大数据的特点53

5.3 大数据发展54

5.4 大数据应用55

习题56

第6章 大数据系统架构概述57

6.1 总体架构概述57

6.1.1 总体架构设计原则57

6.1.2 总体架构参考模型58

6.2 运行架构概述60

6.2.1 物理架构60

6.2.2 集成架构60

6.2.3 安全架构61

6.3 主流大数据系统厂商62

6.3.1 Cloudera62

6.3.2 Hortonworks62

6.3.3 Amazon63

6.3.4 Google63

6.3.5 微软63

6.3.6 阿里云数加平台64

习题65

第7章 分布式通信与协同66

7.1 数据编码传输66

7.1.1 数据编码概述66

7.1.2 LZSS算法67

7.1.3 Snappy压缩库68

7.2 分布式通信系统68

7.2.1 远程过程调用68

7.2.2 消息队列69

7.2.3 应用层多播通信69

7.2.4 Hadoop IPC应用70

7.3 分布式协同系统71

7.3.1 Chubby锁服务71

7.3.2 ZooKeeper73

7.3.3 ZooKeeper在HDFS高可用中使用73

习题75

第8章 大数据存储76

8.1 大数据存储技术发展77

8.2 海量数据存储的关键技术77

8.2.1 数据分片与路由78

8.2.2 数据复制与一致性81

8.3 重要数据结构和算法82

8.3.1 Bloom Filter83

8.3.2 LSM树84

8.3.3 Merkle哈希树85

8.3.4 Cuckoo哈希86

8.4 分布式文件系统87

8.4.1 文件存储格式87

8.4.2 Google文件系统89

8.4.3 HDFS90

8.5 分布式数据库NoSQL92

8.5.1 NoSQL数据库概述92

8.5.2 KV数据库93

8.5.3 列式数据库94

8.5.4 图数据库95

8.5.5 文档数据库96

8.6 HBase数据库搭建与使用98

8.6.1 HBase伪分布式运行98

8.6.2 HBase分布式运行100

8.7 大数据存储技术趋势102

习题102

第9章 分布式处理103

9.1 CPU多核和POSIX Thread103

9.2 MPI并行计算框架104

9.3 Hadoop MapReduce105

9.4 Spark106

9.5 数据处理技术发展106

习题107

第10章 Hadoop MapReduce解析108

10.1 Hadoop MapReduce架构108

10.2 Hadoop MapReduce与高性能计算、网格计算的区别109

10.3 MapReduce工作机制110

10.3.1 Map111

10.3.2 Reduce111

10.3.3 Combine111

10.3.4 Shuffle111

10.3.5 Speculative Task112

10.3.6 任务容错113

10.4 应用案例114

10.4.1 WordCount114

10.4.2 WordMean116

10.4.3 Grep118

10.5 MapReduce的缺陷与不足119

习题119

第11章 Spark解析120

11.1 Spark RDD120

11.2 Spark与MapReduce对比121

11.3 Spark工作机制122

11.3.1 DAG工作图122

11.3.2 Partition123

11.3.3 Lineage容错方法123

11.3.4 内存管理123

11.3.5 数据持久化125

11.4 数据读取125

11.4.1 HDFS125

11.4.2 Amazon S3125

11.4.3 HBase125

11.5 应用案例126

11.5.1 日志挖掘126

11.5.2 判别西瓜好坏127

11.6 Spark发展趋势129

习题129

第12章 流计算130

12.1 流计算概述130

12.2 流计算与批处理系统对比131

12.3 Storm流计算系统131

12.4 Samza流计算系统133

12.5 集群日志文件实时分析135

12.6 流计算发展趋势138

习题138

第13章 集群资源管理与调度139

13.1 集群资源统一管理系统139

13.1.1 集群资源管理概述140

13.1.2 Apache YARN141

13.1.3 Apache Mesos145

13.1.4 Google Omega146

13.2 资源管理模型146

13.2.1 基于slot的资源表示模型146

13.2.2 基于最大、最小公平原则的资源分配模型147

13.3 资源调度策略147

13.3.1 调度策略概述147

13.3.2 Capacity Scheduler调度148

13.3.3 Fair Scheduler调度149

13.4 YARN上运行计算框架151

13.4.1 MapReduce on YARN151

13.4.2 Spark on YARN152

13.4.3 YARN程序设计153

习题158

第14章 综合实践：在OpenStack平台上搭建Hadoop并进行数据分析159

14.1 OpenStack简介159

14.2 OpenStack的安装及配置160

14.2.1 OpenStack安装准备160

14.2.2 OpenStack在线安装162

14.2.3 搭建OpenStack中的虚拟机164

14.3 大数据环境安装165

14.3.1 Java安装165

14.3.2 Hadoop安装166

14.4 大数据分析案例169

14.4.1 日志分析169

14.4.2 电商购买记录分析170

14.4.3 交通流量分析171

参考文献173