大数据背后的核心技术2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大数据背后的核心技术PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 大数据基础理论分析1

第1章 大数据基本概念2

1.1 大数据定义2

1.2 大数据度量3

1.2.1 大数据能耗度量3

1.2.2 大数据计算能力度量4

1.2.3 大数据的数据中心服务能力度量4

1.2.4 大数据商业与社会价值度量4

1.2.5 大数据冷热度度量5

1.3 语意计算的发展过程5

1.3.1 语义计算（Semantic Computing）5

1.3.2 语意计算（Semantic＋Computing）5

1.3.3 语意计算（Semantic＋＋Computing）6

1.3.4 语意计算和大数据7

1.4 大数据的语意理解8

1.4.1 大数据资源语意存储9

1.4.2 大数据资源语意信息获取9

1.4.3 语意资源管理9

1.4.4 大数据语意处理10

1.4.5 大数据语意服务（语意分析／语意合成等）10

1.4.6 大数据语意安全与隐私10

1.4.7 语意接口10

1.4.8 基于语意的大数据应用10

1.5 大数据和云计算11

1.5.1 云计算11

1.5.2 大数据和云计算的关系11

本章小结12

第2章 可编程数据中心13

2.1 可编程数据中心体系架构13

2.2 数据分配管理14

2.2.1 数据分配管理原理14

2.2.2 数据分配管理案例17

2.3 异构数据节点分配管理19

2.3.1 异构数据节点分配管理方法20

2.3.2 异构数据节点服务能力计算方法22

2.4 规则管理23

2.4.1 规则23

2.4.2 语意规则24

2.4.3 海量语意规则管理架构24

2.5 数据放置策略25

2.5.1 谷歌的数据放置策略25

2.5.2 Hadoop的数据放置策略26

2.5.3 其他常用的数据放置策略26

2.5.4 语意数据放置策略26

2.6 可编程数据中心机房架构30

本章小结30

第3章 云文件系统32

3.1 常用云文件系统综述32

3.2 语意云文件系统SCFS34

3.2.1 SCFS系统架构34

3.2.2 SCFS大小文件处理机制36

3.2.3 数据一致性保障40

3.2.4 元数据集群管理技术40

3.2.5 副本管理策略（负载均衡机制）41

本章小结44

第4章 云数据库系统45

4.1 常用云数据库系统综述45

4.2 语意云数据库系统SCloudDB47

4.2.1 SCloudDB系统架构47

4.2.2 SCloudDB设计思路48

4.2.3 SCloudDB的SRegion定位机制50

4.2.4 多维及海量随机查询机制51

4.2.5 支持多维及海量随机查询的语意搜索机制52

4.2.6 大表划分方法54

4.2.7 基于列族存储及语意的大表划分机制56

4.2.8 分布式同步关键技术57

本章小结59

第5章 大数据并行编程与分析模型60

5.1 大数据并行编程与分析模型综述60

5.2 大数据并行编程与分析模型SemanMR63

5.2.1 SemanMR体系架构63

5.2.2 SemanMR技术思路64

5.3 SemanMR关键技术66

5.3.1 基于语意的调度器关键技术66

5.3.2 SemanMR的作业／任务状态交互新规则68

5.3.3 语意映射器关键技术69

5.3.4 基于语意的作业调度器关键技术70

5.3.5 基于语意的任务调度器关键技术73

5.3.6 任务跟踪器关键技术76

5.4 SemanMR计算部分框架78

5.5 SemanMR原理分析82

5.5.1 SemanMR原理实现分析82

5.5.2 SemanMR实现原理特点分析84

5.6 基于SemanMR的大数据实时处理与分析实现技术88

5.6.1 SemanMR实时架构88

5.6.2 SemanMR的MapReduce网络优化技术89

本章小结94

第6章 大数据智能计算算法95

6.1 大数据智能计算算法架构95

6.2 数据采集算法95

6.2.1 管理信息系统数据采集96

6.2.2 网络信息数据采集96

6.2.3 物理信息数据采集96

6.3 数据预处理算法97

6.4 数据挖掘算法99

6.4.1 分类算法99

6.4.2 聚类算法100

6.4.3 关联挖掘算法101

6.4.4 推荐算法101

6.5 复杂智能算法103

6.5.1 大数据溯源算法103

6.5.2 大数据的相关推荐算法105

6.5.3 基于大数据的决策管理算法105

6.5.4 基于模型的推理及预测算法106

6.5.5 基于数据的推理及预测算法107

6.5.6 基于规则的推理及预测算法109

6.5.7 混合推理及预测算法109

本章小结109

第7章 基于大数据的数据仓库技术110

7.1 Facebook中Hive采用的技术思路与存在问题分析110

7.1.1 Hive采用的技术思路分析110

7.1.2 Hive存在的问题分析111

7.2 Yahoo！中Pig采用的技术思路与存在问题分析111

7.2.1 Pig采用的技术思路分析111

7.2.2 Pig存在的问题分析112

7.3 未来数据仓库架构需求分析113

7.4 一种基于大数据的数据仓库SemanDW114

本章小结114

第8章 大数据安全与隐私保护115

8.1 大数据安全模型BigData-PKI115

8.1.1 大数据安全体系结构115

8.1.2 大数据安全模型BigData-PKI116

8.2 大数据安全协议BigData-Protocol118

8.3 大数据隐私120

8.4 大数据的隐私提取方法121

8.4.1 大数据的直接隐私提取方法121

8.4.2 大数据的间接隐私提取方法121

8.5 大数据隐私保护模型BigData-Privacy122

8.6 大数据共享信息与隐私信息融合技术122

8.6.1 大数据的共享信息与隐私信息融合机制123

8.6.2 大数据的共享信息与隐私信息融合算法123

8.6.3 大数据的共享信息与隐私信息融合质量评价模型123

8.7 云环境下医疗大数据安全和隐私保护示范125

8.7.1 云环境下大数据安全和隐私保护架构125

8.7.2 数据分割及安全机制127

8.7.3 数据融合及安全机制129

8.7.4 基于隐私数据的查询机制130

8.7.5 数据完整性保障机制131

8.8 海量电子病历安全保护应用133

本章小结134

第9章 基于大数据的语意软件工程方法135

9.1 基于大数据的语意软件工程体系架构136

9.2 基于大数据的语意软件编制136

9.2.1 基于大数据的语意软件编制方法136

9.2.2 基于大数据的语意软件编制方法设计思路137

9.2.3 复杂的SemanPL程序编程实现原理分析138

9.2.4 基于大数据的语意编程语言SemanPL139

9.2.5 SemanPL编译器原理分析141

9.3 基于大数据的语意软件测试143

9.4 基于大数据的语意软件验证143

9.5 基于大数据的语意软件工程方法的语意软件系统应用144

本章小结144

第二部分 基于海量语意规则的大数据流处理技术145

第10章 基于规则的大数据流处理介绍147

10.1 基于规则的大数据流147

10.1.1 基于规则的大数据流应用背景147

10.1.2 基于规则的大数据流应用意义148

10.2 大数据流的规则处理技术国内外研究现状149

10.3 存在的问题总结与分析153

本章小结154

第11章 语意规则描述模型155

11.1 规则表示方法155

11.2 规则节点图形化符号表示模型155

11.2.1 非计算规则节点156

11.2.2 计算规则节点156

11.3 规则粒度158

11.4 规则节点流量分析159

11.5 计算规则节点计算代价分析163

本章小结167

第12章 海量语意规则网及优化168

12.1 海量语意规则网概述168

12.2 海量语意规则网维护169

12.2.1 海量语意规则网增量集成169

12.2.2 删除规则节点时的规则网维护170

12.3 海量语意规则网优化方法171

12.3.1 基于规则合并的优化方法171

12.3.2 规则模块等价变换的优化方法173

本章小结183

第13章 海量语意规则处理算法184

13.1 传统规则处理算法存在的问题184

13.2 海量语意规则模式匹配模型185

13.2.1 海量语意规则模式匹配模型体系结构185

13.2.2 概念与介绍186

13.2.3 模式网络存储组织186

13.2.4 海量语意规则模式匹配算法188

13.3 海量语意规则模式匹配算法特点195

13.4 海量语意规则网运行处理机制195

本章小结198

第14章 海量语意规则并行处理199

14.1 海量语意规则并行处理面临的问题199

14.2 海量语意规则并行处理机制200

14.2.1 海量语意规则并行处理机制GAPCM概述200

14.2.2 海量语意规则子网生成201

14.2.3 海量语意规则网计算代价预分配202

14.2.4 海量语意规则网通信219

14.2.5 映射分配220

本章小结221

第三部分 大数据应用223

第15章 文化大数据224

15.1 文化大数据的意义224

15.2 文化大数据关键技术平台架构225

15.3 文化大数据资源层226

15.4 文化大数据综合平台层227

15.5 基于文化大数据的应用228

15.6 文化大数据云管理系统232

本章小结234

第16章 医疗健康大数据235

16.1 医疗健康大数据235

16.2 医疗健康大数据平台架构235

16.3 医疗健康大数据共享平台237

16.3.1 集中式医疗健康大数据共享平台237

16.3.2 分散式医疗健康大数据共享平台238

16.4 医疗健康大数据分散式架构资源集成方法239

16.5 医疗健康大数据数据安全保护机制241

16.6 医疗健康大数据隐私保护机制241

16.7 医疗健康大数据挖掘与分析242

16.8 基于可穿戴设备的居家医疗养老大数据分析系统243

16.9 医疗健康大数据其他典型应用244

本章小结245

第17章 互联网金融大数据246

17.1 互联网金融246

17.1.1 互联网金融的概念246

17.1.2 互联网金融的产生246

17.1.3 互联网金融分类247

17.1.4 互联网金融发展历程248

17.1.5 互联网金融发展阶段251

17.1.6 互联网金融发展趋势252

17.2 大数据金融253

17.3 金融大数据架构254

17.3.1 金融大数据数据源255

17.3.2 数据采集／清洗／转换255

17.3.3 金融大数据存储255

17.3.4 各种金融模型256

17.3.5 各种大数据挖掘分析算法257

17.3.6 各种大数据并行编程模型257

17.3.7 各种大数据金融应用257

17.4 大数据金融案例257

本章小结258

第18章 其他典型大数据259

18.1 教育大数据259

18.1.1 教育大数据平台架构259

18.1.2 基于大数据的教育社区学生／教师个性化服务261

18.1.3 基于大数据的教育社区学生行为建模与分析262

18.1.4 基于大数据的教育社区教学规律分析262

18.1.5 基于大数据的教育社区个性化教学262

18.1.6 基于教育大数据的语意问答系统262

18.2 电子商务大数据263

18.2.1 电子商务大数据平台架构263

18.2.2 电子商务虚假图片监测265

18.2.3 电子商务产品个性化推荐265

18.2.4 基于电子商务大数据的消费者行为分析266

18.2.5 基于电子商务大数据的物流266

18.2.6 电子商务实时大数据流规则处理266

18.2.7 电子商务评估管理系统267

18.3 互联网大数据267

18.3.1 互联网大数据平台架构267

18.3.2 互联网热点计算268

18.3.3 互联网热点个性化推荐268

18.3.4 互联网舆情监测268

18.3.5 互联网热点趋势分析预测269

18.3.6 互联网舆情预警应用269

18.3.7 大型网络软件平台的数据采集与分析方案269

18.4 能源大数据272

18.4.1 石油大数据272

18.4.2 智能电网大数据275

18.5 交通大数据276

18.6 宏观经济大数据278

18.7 进出口食品安全监管大数据280

18.7.1 基于大数据的进出口食品安全监管系统总体架构280

18.7.2 基于大数据的进出口食品安全监测分析280

18.7.3 基于海量语意规则的进出口食品社会应急分析281

18.7.4 基于大数据的进出口食品溯源分析282

18.7.5 基于大数据的进出口食品安全决策283

本章小结283

第19章 基于大数据的语意计算及典型应用284

19.1 基于大数据的应用领域分析284

19.1.1 基于大数据的社交网络领域应用分析284

19.1.2 基于大数据的医疗领域应用分析285

19.1.3 基于大数据的政府领域应用分析287

19.1.4 基于大数据的金融领域应用分析289

19.1.5 基于大数据的企业计算应用分析290

19.2 语意搜索引擎291

19.2.1 传统搜索引擎292

19.2.2 语义搜索引擎（Semantic Search Engine）293

19.2.3 语意搜索引擎（Semantic＋SearchEngine）293

19.2.4 语意搜索引擎（Semantic＋＋Search Engine）295

19.3 语意金融296

19.4 语意旅游296

19.5 语意电子商务297

19.5.1 案例概述297

19.5.2 校园社区网规则举例298

19.5.3 优化的带流量的规则网302

19.5.4 未经优化的带流量的规则网优化302

19.5.5 规则网络代价计算305

19.5.6 规则网络任务划分306

19.5.7 规则子网划分308

本章小结310

第20章 大数据未来研究方向311

参考文献315