Hadoop应用实战2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Hadoop应用实战PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据概念的老调重弹1

1.1 互联网和物联网上的数据2

1.1.1 互联网上越来越多的数据被存储2

1.1.2 物联网带来更多的数据4

1.2 数据能为我们做的事5

1.2.1 用户画像和任何企业都需要关注的数据6

1.2.2 大数据的3V、4V和N个V7

1.2.3 从数据分析到数据挖掘8

1.2.4 大数据处理的三个维度9

1.3 数据挖掘中的一些基本概念11

1.3.1 分类算法11

1.3.2 聚类算法12

1.3.3 关联算法13

1.3.4 序列算法14

1.3.5 估测和预测14

1.3.6 A/B Test15

1.4 数据仓库16

1.4.1 数据仓库是解决大数据存储的基础设施17

1.4.2 4种不同类型的数据仓库18

1.4.3 国内外数据仓库的不同使用方式19

1.5 不包含在本书中的内容21

1.6 这本书都讲些啥22

第2章 Hadoop的前世今生25

2.1 Google的计算框架26

2.1.1 Google公司的三篇论文26

2.1.2 GFS文件系统27

2.1.3 MapReduce的模型和框架28

2.1.4 BigTable数据库29

2.2 Hadoop的诞生30

2.2.1 从GFS到HDFS30

2.2.2 Hadoop的基础计算框架MapReduce31

2.2.3 从BigTable到HBase33

2.3 Hadoop的今天33

2.4 Hadoop大事记35

第3章 等同于大数据的Hadoop37

3.1 Hadoop理念38

3.2 Hadoop核心基础架构39

3.2.1 Namenode和Datanode39

3.2.2 Hadoop底层的文件系统HDFS40

3.2.3 Hadoop上的数据库HBase42

3.3 Hadoop上的各种其他组件44

3.3.1 资源分配系统YARN44

3.3.2 灵活的编程语言pig46

3.3.3 数据挖掘工具Mahout48

3.3.4 专注于数据挖掘的R语言48

3.3.5 数据仓库工具Hive49

3.3.6 数据采集系统Flume51

3.4 Spark和Hadoop51

3.4.1 闪电侠出现了51

3.4.2 大数据领域的Taylor Swift52

3.4.3 Spark的架构53

3.4.4 Spark和流处理54

第4章 Hadoop的价值57

4.1 大数据时代需要新的架构58

4.1.1 企业IT面临的挑战58

4.1.2 数据分析要考虑的问题59

4.1.3 新的IT架构的需求60

4.2 Hadoop能解决的问题61

4.2.1 Hadoop适合做的事情61

4.2.2 Hadoop对系统数据安全性的保障62

4.2.3 数据流与数据流处理62

4.3 去IOE65

4.4 7种最常见的Hadoop和Spark项目71

第5章 Hadoop系统速成75

5.1 Hadoop系统搭建速成76

5.1.1 Hadoop系统的三种运行模式76

5.1.2 单点搭建Hadoop系统76

5.1.3 全分布式（多节点）搭建Hadoop系统80

5.1.4 在Hadoop上编程83

5.1.5 Hadoop系统的典型配置83

5.2 在云上运行Hadoop85

5.2.1 在金山云上运行Hadoop86

5.2.2 微软的HDInsight89

5.3 Hadoop信息大全90

第6章 数据仓库和Hadoop93

6.1 大数据时代的数据系统设计94

6.1.1 分布式系统上的CAP原理94

6.1.2 ACID和BASE概念的区别95

6.1.3 NoSQL96

6.1.4 各种数据源的整合100

6.2 传统数据仓库的瓶颈101

6.2.1 传统数据仓库的瓶颈之一：数据量的问题101

6.2.2 传统数据仓库的瓶颈之二：数据类型的问题102

6.2.3 传统数据仓库的瓶颈之三：数据处理的延时问题102

6.2.4 传统数据仓库的瓶颈之四：数据模型的变化问题103

6.3 Hadoop是解决数据仓库瓶颈的方法104

6.3.1 解决数据量的问题104

6.3.2 解决数据类型的问题105

6.3.3 数据处理的速度问题106

6.3.4 数据模型的变化问题107

6.4 基于Hadoop和Spark的数据仓库解决方案108

6.4.1 基于Hadoop/Spark结构的数据仓库系统架构108

6.4.2 分布式计算引擎109

6.4.3 标准化的编程模型110

6.4.4 数据操作方式的多样性110

6.4.5 OLAP交互式统计分析能力110

6.4.6 多类型数据的处理能力111

6.4.7 实时计算与企业数据总线111

6.4.8 数据探索与挖掘能力111

6.4.9 安全性和权限管理112

6.4.10 混合负载管理112

第7章 在不同应用环境下的Hadoop115

7.1 在存储密集型环境中的Hadoop116

7.2 在网络密集型环境中的Hadoop118

7.3 在运算密集型环境中的Hadoop121

7.4 Hadoop平台的对比和选择127

7.4.1 为什么会选择商用的Hadoop系统127

7.4.2 商用Hadoop系统之间的选择130

第8章 Hadoop在互联网公司的应用133

8.1 Hadoop在腾讯134

8.2 Hadoop在Facebook的应用138

8.3 金山的Hadoop140

8.4 迅雷公司对Hadoop的应用144

第9章 Hadoop和行业应用之一147

9.1 Hadoop和运营商148

9.2 Hadoop和公用事业163

9.3 Hadoop和“智慧工商”175

9.4 Hadoop和政务云183

第10章 Hadoop与“衣食住行”中的“食”和“行”191

10.1 Hadoop和“食”192

10.2 Hadoop和“行”201

第11章 Hadoop和行业应用之三209

11.1 Hadoop和金融210

11.1.1 金融的大数据属性210

11.1.2 金融企业的风险控制211

11.2 Hadoop和医疗221

11.3 Hadoop和物流226

11.4 Hadoop和媒体229

第12章 特殊场景下的Hadoop系统237

12.1 Hadoop和实时系统238

12.2 Hadoop平台的一些特殊场景实现243

第13章 Hadoop系统的挑战和应对247

13.1 Hadoop系统使用须知248

13.2 Hadoop平台风险点预估250

13.2.1 Namenode的单点故障和系统的可用性250

13.2.2 集群硬件故障导致平台可靠性与可用性大幅降低251

13.2.3 Hadoop集群大数据安全和隐私问题252

13.3 Hadoop平台硬件故障的应对机制252

13.3.1 监控软硬件故障的应对机制253

13.3.2 断电处理255

13.4 Hadoop平台如何真正做到高可用性255

13.4.1 Hadoop系统的高可用性冗余性保障256

13.4.2 Facebook的Namenode HA的方案256

13.4.3 TDH的Namenode高可用性冗余解决方案257

13.5 Hadoop平台安全性和隐私性的应对机制259

13.5.1 关于安全和隐私问题的7个事项259

13.5.2 星环的4A级统一安全管理解决方案259

13.5.3 Hadoop系统安全Checklist262

第14章 Hadoop的未来263

14.1 Hadoop未来的发展趋势264

14.1.1 对数据系统的不断升级264

14.1.2 机器学习264

14.2 Hadoop和区块链265

附录A 专业词汇表267

附录B 引用文献271

附录C 参考网站一览273

附录D HDFS命令行列表275

附录E 本书引用案例索引278