大数据技术及应用教程2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大数据技术及应用教程PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 大数据基础3

第1章 大数据技术基本概念3

1.1 数据3

1.1.1 数据的单位4

1.1.2 数据与信息的关系4

1.1.3 数据的分类4

1.2 信息6

1.2.1 信息的定义6

1.2.2 信息资源7

1.2.3 信息的应用意义8

1.3 大数据9

1.3.1 大数据发展历史9

1.3.2 大数据的定义和特点10

1.4 大数据技术的基本概念15

1.4.1 传统数据处理15

1.4.2 大数据分析的方法理论16

1.4.3 大数据技术17

1.5 大数据的社会价值21

1.5.1 大数据的社会价值体现21

1.5.2 大数据在政府管理方面的应用22

1.5.3 大数据在公共服务领域的应用23

1.6 大数据的商业应用24

1.6.1 商业大数据的类型和价值挖掘方法24

1.6.2 全球大数据市场结构26

1.6.3 中国大数据市场26

1.6.4 大数据给中国带来的十大商业应用场景27

1.7 大数据与商业模式创新32

1.7.1 商业模式的创新特点32

1.7.2 商业模式创新可以为企业带来什么32

1.7.3 基于大数据分析的商业模式创新33

1.8 如何成为“大数据企业”35

1.8.1 驾驭企业外部大数据35

1.8.2 成为“大数据企业”36

1.8.3 如何挖掘企业大数据的价值37

1.8.4 大数据实质上是一种管理思维38

1.9 大数据应用案例之：男女嘉宾《非诚勿扰》牵手数据分析39

习题与思考题42

第二部分 大数据技术47

第2章 基础架构——云计算平台47

2.1 大数据处理的基础架构47

2.2 云计算网络47

2.2.1 云计算简介48

2.2.2 云计算系统的体系结构50

2.2.3 云计算服务层次55

2.2.4 云计算技术层次57

2.2.5 云计算的核心技术58

2.2.6 典型云计算平台59

2.2.7 典型的云计算系统及应用64

2.2.8 大数据平台的应用67

2.3 大数据应用案例之：在“北上广”打拼是怎样一种体验69

习题与思考题72

第3章 大数据采集与预处理74

3.1 大数据采集概念74

3.2 数据采集来源75

3.3 大数据采集方法76

3.3.1 大数据数据采集方面新方法76

3.3.2 网页数据采集方法76

3.3.3 Web信息数据自动采集79

3.4 导入／预处理82

3.4.1 大数据导入／预处理的过程82

3.4.2 数据清洗84

3.4.3 数据采集（ETL）技术86

3.4.4 基于大数据的数据预处理88

3.4.5 数据处理的基本流程与关键技术90

3.5 数据集成91

3.5.1 数据集成的概念91

3.5.2 数据集成面临问题92

3.6 数据变换92

3.6.1 异构数据交换综述93

3.6.2 异构数据分析94

3.6.3 异构数据交换方式97

3.6.4 异构数据交换技术99

3.6.5 异构数据交换与集成的研究方向103

3.7 大数据应用案例之：互联网行业哪个职位比较有前途103

习题与思考题107

第4章 大数据存储110

4.1 传统数据存储110

4.1.1 传统数据存储介质110

4.1.2 存储的模式112

4.2 海量数据存储的需求113

4.3 分布式存储系统117

4.3.1 分布式存储系统117

4.3.2 典型系统118

4.4 云存储120

4.5 数据库123

4.5.1 数据库分类123

4.5.2 常规SQL结构化关系数据库124

4.5.3 NoSQL非结构化数据库124

4.5.4 NoSQL技术126

4.5.5 大规模并行分析数据库129

4.6 数据仓库131

4.6.1 数据仓库的概念131

4.6.2 数据仓库技术发展133

4.6.3 数据仓库原理及构成133

4.6.4 数据仓库的基本架构136

4.6.5 数据仓库的数据存储136

4.6.6 数据仓库的数据应用137

4.6.7 元数据管理138

4.7 大数据应用案例之：一场雾霾将损失多少GDP138

习题与思考题141

第5章 大数据计算模式与处理系统143

5.1 数据计算143

5.1.1 离线批处理143

5.1.2 实时交互计算145

5.1.3 海量数据实时计算145

5.1.4 流计算146

5.2 聚类算法147

5.2.1 聚类算法的分类147

5.2.2 数据分类与聚类147

5.3 数据集成148

5.3.1 数据集成概述149

5.3.2 数据集成方案155

5.3.3 企业数据集成应用形式157

5.3.4 企业整体解决方案160

5.4 机器学习161

5.4.1 机器学习的定义和例子162

5.4.2 机器学习的范围164

5.4.3 机器学习的方法165

5.4.4 机器学习的应用——大数据170

5.4.5 机器学习的子类——深度学习172

5.4.6 机器学习的父类——人工智能174

5.5 数据处理语言175

5.5.1 数据分析语言R175

5.5.2 大数据开发语言Python177

5.6 大数据应用案例之：北京的人流在哪儿？用大数据看城市179

习题与思考题183

第6章 大数据查询、显现与交互185

6.1 数据的查询185

6.1.1 常规数据库查询结构化数据185

6.1.2 大数据时代的数据搜索186

6.1.3 数据库与信息检索技术的比较188

6.1.4 数据库技术面临的Web数据管理问题189

6.2 网络数据索引与查询技术192

6.2.1 搜索引擎技术概述192

6.2.2 Web搜索引擎工作原理192

6.3 大数据索引与查询技术200

6.3.1 大数据索引和查询200

6.3.2 大数据处理案例：登机牌、阅卷与MapReduce201

6.4 相似性搜索工具206

6.5 数据展现与交互209

6.6 数据可视化210

6.6.1 数据可视化概念210

6.6.2 数据可视化定义与方法211

6.6.3 数据可视化分析216

6.6.4 个性化精准推荐217

6.6.5 预测和预警217

6.6.6 决策分析219

6.7 知识图谱220

6.7.1 知识图谱的概念221

6.7.2 知识图谱的表示221

6.7.3 知识图谱的存储222

6.7.4 知识图谱的应用223

6.8 大数据应用案例之：数据告诉你，上海的房子都被谁买走了229

习题与思考题233

第7章 大数据分析与数据挖掘235

7.1 大数据的分析及应用235

7.1.1 数据处理和分析的发展235

7.1.2 大数据分析面对的数据类型236

7.1.3 大数据分析与处理方法237

7.1.4 数据分析的步骤237

7.1.5 大数据分析应用240

7.2 数据挖掘技术242

7.2.1 数据挖掘的定义242

7.2.2 数据挖掘的常用方法244

7.2.3 数据挖掘的功能245

7.2.4 数据挖掘技术246

7.2.5 数据挖掘的流程248

7.2.6 数据挖掘的应用250

7.2.7 “大数据自动挖掘”才是大数据的真正意义251

7.3 商业智能与数据分析252

7.3.1 商业智能技术辅助决策的发展252

7.3.2 商业智能系统架构253

7.3.3 商业智能的技术体系253

7.3.4 商务智能＝数据＋分析＋决策＋利益254

7.4 电商大数据分析技术257

7.4.1 移动互联网应用数据分析基础257

7.4.2 用户规模和质量258

7.4.3 参与度分析259

7.4.4 渠道分析260

7.4.5 功能分析261

7.4.6 用户属性分析262

7.5 大数据营销业务模型263

7.5.1 大数据对业务模式的影响263

7.5.2 大数据时代的网络化精确营销264

7.5.3 移动互联和大数据时代的电子商务265

7.5.4 大数据营销的定义与特点266

7.5.5 网络营销大数据实际操作268

7.5.6 数据营销方法论270

7.6 基于社会媒体的分析预测技术273

7.6.1 基于空间大数据的社会感知273

7.6.2 基于社会媒体的预测技术278

7.6.3 基于消费意图挖掘的预测279

7.6.4 基于事件抽取的预测282

7.6.5 基于因果分析的预测282

7.7 大数据应用案例之：如何用大数据看风水？以星巴克和海底捞的选址为例286

习题与思考题287

第8章 大数据隐私与安全290

8.1 大数据面临的问题290

8.1.1 大数据面临的安全问题290

8.1.2 使用大数据分析安全与隐私的问题295

8.2 大数据安全与隐私保护关键技术296

8.2.1 基于大数据的威胁发现技术296

8.2.2 基于大数据的认证技术297

8.2.3 基于大数据的数据真实性分析298

8.2.4 大数据与“安全即服务”298

8.3 大数据安全的防护策略298

8.4 大数据应用案例之：电影《爸爸去哪儿》大卖有前兆么？300

习题与思考题305

第三部分 大数据分析案例309

第9章 行业案例研究——银行、保险、证券、金融行业309

9.1 银行业应用309

9.1.1 大数据时代：银行如何玩转数据挖掘309

9.1.2 工商银行客户关系管理案例311

9.1.3 银行风险管理314

9.2 保险业应用318

9.2.1 保险产业拥抱“大数据时代”或带来颠覆性变革318

9.2.2 保险欺诈识别320

9.3 证券期货应用322

9.3.1 安徽使用大数据监管证券期货322

9.3.2 “大数据”分析挖出基金“老鼠仓”的启示323

9.4 金融行业应用324

9.4.1 汽车金融公司怎么实现大数据管理324

9.4.2 大数据决定互联网金融未来326

9.4.3 移动大数据在互联网金融反欺诈领域的应用329

9.5 大数据应用案例之：大吃一惊！大数据下的中国原来是这样的331

第四部分 大数据技术现状及发展展望339

第10章 大数据技术发展前景339

10.1 大数据引发新一代信息技术变革浪潮339

10.2 大数据采集与预处理技术发展前景341

10.3 大数据存储与管理技术发展前景342

10.4 大数据计算模式与系统技术发展前景347

10.5 大数据分析与挖掘技术发展前景351

10.6 大数据可视化分析技术发展前景353

10.7 大数据隐私与安全技术发展前景357

10.8 大数据应用案例之：数据解读城市：北京本地人VS外地人360

参考文献366