分布式机器学习 算法 理论与实践2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

分布式机器学习 算法 理论与实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1 人工智能及其飞速发展2

1.2 大规模、分布式机器学习4

1.3 本书的安排6

参考文献7

第2章 机器学习基础9

2.1 机器学习的基本概念10

2.2 机器学习的基本流程13

2.3 常用的损失函数16

2.3.1 Hinge损失函数16

2.3.2 指数损失函数16

2.3.3 交叉熵损失函数17

2.4 常用的机器学习模型18

2.4.1 线性模型18

2.4.2 核方法与支持向量机18

2.4.3 决策树与Boosting21

2.4.4 神经网络23

2.5 常用的优化方法32

2.6 机器学习理论33

2.6.1 机器学习算法的泛化误差34

2.6.2 泛化误差的分解34

2.6.3 基于容度的估计误差的上界35

2.7 总结36

参考文献36

第3章 分布式机器学习框架41

3.1 大数据与大模型的挑战42

3.2 分布式机器学习的基本流程44

3.3 数据与模型划分模块46

3.4 单机优化模块48

3.5 通信模块48

3.5.1 通信的内容48

3.5.2 通信的拓扑结构49

3.5.3 通信的步调51

3.5.4 通信的频率52

3.6 数据与模型聚合模块53

3.7 分布式机器学习理论54

3.8 分布式机器学习系统55

3.9 总结56

参考文献57

第4章 单机优化之确定性算法61

4.1 基本概述62

4.1.1 机器学习的优化框架62

4.1.2 优化算法的分类和发展历史65

4.2 一阶确定性算法67

4.2.1 梯度下降法67

4.2.2 投影次梯度下降法69

4.2.3 近端梯度下降法70

4.2.4 Frank- Wolfe算法71

4.2.5 Nesterov加速法72

4.2.6 坐标下降法75

4.3 二阶确定性算法75

4.3.1 牛顿法76

4.3.2 拟牛顿法77

4.4 对偶方法78

4.5 总结81

参考文献81

第5章 单机优化之随机算法85

5.1 基本随机优化算法86

5.1.1 随机梯度下降法86

5.1.2 随机坐标下降法88

5.1.3 随机拟牛顿法91

5.1.4 随机对偶坐标上升法93

5.1.5 小结95

5.2 随机优化算法的改进96

5.2.1 方差缩减方法96

5.2.2 算法组合方法100

5.3 非凸随机优化算法101

5.3.1 Ada系列算法102

5.3.2 非凸理论分析104

5.3.3 逃离鞍点问题106

5.3.4 等级优化算法107

5.4 总结109

参考文献109

第6章 数据与模型并行113

6.1 基本概述114

6.2 计算并行模式117

6.3 数据并行模式119

6.3.1 数据样本划分120

6.3.2 数据维度划分123

6.4 模型并行模式123

6.4.1 线性模型123

6.4.2 神经网络127

6.5 总结133

参考文献133

第7章 通信机制135

7.1 基本概述136

7.2 通信的内容137

7.2.1 参数或参数的更新137

7.2.2 计算的中间结果137

7.2.3 讨论138

7.3 通信的拓扑结构139

7.3.1 基于迭代式MapReduce/AllReduce的通信拓扑140

7.3.2 基于参数服务器的通信拓扑142

7.3.3 基于数据流的通信拓扑143

7.3.4 讨论145

7.4 通信的步调145

7.4.1 同步通信146

7.4.2 异步通信147

7.4.3 同步和异步的平衡148

7.4.4 讨论150

7.5 通信的频率150

7.5.1 时域滤波150

7.5.2 空域滤波153

7.5.3 讨论155

7.6 总结156

参考文献156

第8章 数据与模型聚合159

8.1 基本概述160

8.2 基于模型加和的聚合方法160

8.2.1 基于全部模型加和的聚合160

8.2.2 基于部分模型加和的聚合162

8.3 基于模型集成的聚合方法167

8.3.1 基于输出加和的聚合168

8.3.2 基于投票的聚合171

8.4 总结174

参考文献174

第9章 分布式机器学习算法177

9.1 基本概述178

9.2 同步算法179

9.2.1 同步SGD方法179

9.2.2 模型平均方法及其改进182

9.2.3 ADMM算法183

9.2.4 弹性平均SGD算法185

9.2.5 讨论186

9.3 异步算法187

9.3.1 异步SG D187

9.3.2 Hogwild！算法189

9.3.3 Cyclades算法190

9.3.4 带延迟处理的异步算法192

9.3.5 异步方法的进一步加速199

9.3.6 讨论199

9.4 同步和异步的对比与融合199

9.4.1 同步和异步算法的实验对比199

9.4.2 同步和异步的融合201

9.5 模型并行算法203

9.5.1 DistBelief203

9.5.2 AlexNet204

9.6 总结205

参考文献205

第10章 分布式机器学习理论209

10.1 基本概述210

10.2 收敛性分析210

10.2.1 优化目标和算法211

10.2.2 数据和模型并行213

10.2.3 同步和异步215

10.3 加速比分析217

10.3.1 从收敛速率到加速比218

10.3.2 通信量的下界219

10.4 泛化分析221

10.4.1 优化的局限性222

10.4.2 具有更好泛化能力的非凸优化算法224

10.5 总结226

参考文献226

第11章 分布式机器学习系统229

11.1 基本概述230

11.2 基于IMR的分布式机器学习系统231

11.2.1 IMR和Spark231

11.2.2 Spark MLlib234

11.3 基于参数服务器的分布式机器学习系统236

11.3.1 参数服务器236

11.3.2 Multiverso参数服务器237

11.4 基于数据流的分布式机器学习系统241

11.4.1 数据流241

11.4.2 TensorFlow数据流系统243

11.5 实战比较248

11.6 总结252

参考文献252

第12章 结语255

12.1 全书总结256

12.2 未来展望257

索引260