深度学习 上2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

深度学习 上PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

1 深度学习概述1

1.1 人工智能与深度学习1

1.2 深度学习的发展2

1.2.1 深度学习的提出2

1.2.2 深度学习的发展历程4

1.2.3 深度学习的知识体系23

1.2.4 深度学习的数学基础25

1.2.5 深度学习的典型应用27

1.2.6 深度学习当前面临的挑战33

1.2.7 深度学习的未来35

1.3 阅读材料36

参考文献37

2 机器学习基础44

2.1 机器学习基本概念44

2.1.1 定义44

2.1.2 数据45

2.1.3 机器学习的三要素45

2.1.4 归纳偏好47

2.2 机器学习发展历程48

2.2.1 符号学派48

2.2.2 联结学派50

2.2.3 进化学派51

2.2.4 贝叶斯学派52

2.2.5 类推学派53

2.3 生成模型和判别模型54

2.4 监督学习55

2.4.1 任务描述55

2.4.2 评价标准59

2.4.3 常用方法60

2.5 无监督学习73

2.5.1 任务描述73

2.5.2 评价标准74

2.5.3 常用方法75

2.6 强化学习88

2.6.1 任务描述88

2.6.2 评价标准90

2.6.3 常用方法91

2.7 阅读材料96

参考文献97

3 早期神经网络100

3.1 早期研究成果100

3.1.1 神经网络雏形100

3.1.2 MCP神经元模型101

3.1.3 Hebbian学习规则103

3.2 感知机104

3.3 多层感知机108

3.3.1 多层感知机的结构108

3.3.2 多层感知机的通用近似性109

3.3.3 前向传播过程111

3.3.4 反向传播过程112

3.3.5 训练过程实例116

3.4 其他神经网络模型121

3.4.1 自组织映射121

3.4.2 Hopfield网络123

3.5 神经网络的激活函数125

3.6 深度的必要性129

3.7 阅读材料133

参考文献134

4 深度学习的优化136

4.1 深度学习优化的困难和挑战136

4.1.1 局部极小值问题137

4.1.2 鞍点问题137

4.1.3 海森矩阵病态问题138

4.1.4 梯度爆炸139

4.1.5 梯度消失140

4.2 梯度下降基本方法141

4.2.1 批梯度下降142

4.2.2 随机梯度下降143

4.2.3 小批量梯度下降144

4.3 动量145

4.3.1 动量法145

4.3.2 Nesterov动量法147

4.4 自适应学习率算法148

4.4.1 Adagrad算法149

4.4.2 RMSprop算法151

4.4.3 AdaDelta算法153

4.4.4 Adam算法155

4.4.5 Adamax算法161

4.4.6 Nadam算法162

4.4.7 AMSgrad算法163

4.5 二阶近似法165

4.5.1 牛顿法165

4.5.2 DFP算法166

4.5.3 BFGS算法167

4.5.4 L-BFGS算法168

4.5.5 共轭梯度算法169

4.6 超参数调节方法171

4.6.1 权值初始化171

4.6.2 自动调节方法171

4.6.3 手动调节方法173

4.7 策略方法174

4.7.1 批归一化175

4.7.2 预训练175

4.7.3 神经网络的压缩和加速176

4.8 阅读材料179

参考文献180

5 正则化184

5.1 理论框架184

5.1.1 基本概念184

5.1.2 过拟合与欠拟合185

5.1.3 神经网络领域的正则化框架186

5.2 参数范数惩罚187

5.2.1 L2正则化187

5.2.2 L1正则化188

5.3 基于数据的正则化189

5.3.1 数据集扩增189

5.3.2 Dropout190

5.4 基于优化过程的正则化195

5.5 基于函数模型的正则化197

5.6 基于误差函数的正则化198

5.7 阅读材料199

参考文献199

6 卷积神经网络201

6.1 卷积神经网络的神经科学基础201

6.2 卷积神经网络的基本结构202

6.3 卷积神经网络的操作205

6.3.1 卷积层操作205

6.3.2 池化层操作208

6.3.3 激活函数211

6.4 设计卷积神经网络的动机215

6.4.1 局部连接215

6.4.2 参数共享218

6.4.3 理解卷积层219

6.4.4 理解整流线性单元223

6.4.5 理解池化层225

6.4.6 卷积与池化作为强先验分布229

6.5 卷积神经网络训练230

6.5.1 卷积神经网络训练过程230

6.5.2 输入图像预处理237

6.5.3 卷积神经网络训练技巧240

6.5.4 卷积神经网络实例241

6.6 CNN用于图像分类244

6.6.1 AlexNet244

6.6.2 ZFNet246

6.6.3 VGGNet249

6.6.4 Inception250

6.7 残差神经网络258

6.7.1 ResNet258

6.7.2 ResNetV2262

6.7.3 ResNeXt267

6.7.4 DenseNet268

6.7.5 MobileNet270

6.7.6 ShuffleNet271

6.7.7 Wide Residual Networks272

6.7.8 Dual Path Network274

6.8 CNN用于目标检测275

6.8.1 R-CNN276

6.8.2 FastR-CNN278

6.8.3 Faster R-CNN280

6.8.4 Mask R-CNN282

6.9 CNN用于像素级语义分割285

6.10 CNN用于超高分辨率成像288

6.11 球形卷积神经网络292

6.11.1 球形卷积神经网络设计动机292

6.11.2 球形空间与旋转组之间的关系293

6.11.3 应用G-FFT代替卷积操作294

6.11.4 球形卷积神经网络实验295

6.12 CNN用于文本处理296

6.12.1 KimCNN296

6.12.2 DCNN298

6.13 胶囊网络301

6.13.1 动态路由胶囊网络301

6.13.2 EM路由矩阵胶囊网络308

6.13.3 胶囊与卷积神经网络的区别313

6.14 阅读材料314

参考文献315

7 循环神经网络323

7.1 简单循环神经网络324

7.1.1 简单循环神经网络的结构324

7.1.2 循环神经网络的算法328

7.2 循环神经网络的训练330

7.2.1 损失函数和dropout330

7.2.2 循环神经网络的训练技巧331

7.3 长短期记忆神经网络332

7.3.1 长短期记忆神经网络的起源332

7.3.2 长短期记忆神经网络的结构334

7.3.3 长短期记忆神经网络的算法335

7.4 长短期记忆神经网络的训练340

7.4.1 学习率340

7.4.2 长短期记忆神经网络的训练技巧340

7.5 RNN和LSTM的变体343

7.5.1 RNN的简单变体343

7.5.2 增强RNN350

7.5.3 LSTM的变体357

7.6 递归神经网络367

7.6.1 递归神经网络的结构367

7.6.2 递归神经网络的前向计算368

7.6.3 递归神经网络的反向传播369

7.7 循环神经网络的应用370

7.7.1 词向量370

7.7.2 评价指标372

7.7.3 机器翻译373

7.7.4 情感分析377

7.7.5 对话模型380

7.7.6 诗歌生成383

7.7.7 图片描述384

7.7.8 语音识别387

7.7.9 手写识别390

7.8 阅读材料392

参考文献393

8 注意力机制和记忆网络397

8.1 注意力机制的概念397

8.2 注意力机制的分类399

8.2.1 基于项的注意力和基于位置的注意力400

8.2.2 全局注意力和局部注意力402

8.2.3 自身注意力机制404

8.3 注意力机制和RNN的结合405

8.4 注意力机制的应用406

8.4.1 目标检测406

8.4.2 图片标注407

8.4.3 机器翻译409

8.4.4 问答系统413

8.5 注意力变体418

8.5.1 结构化注意力机制418

8.5.2 目标端注意力420

8.5.3 单调对齐注意力422

8.5.4 循环注意力424

8.5.5 注意力之上的注意力425

8.6 记忆网络427

8.6.1 记忆网络基础模型427

8.6.2 分层记忆网络429

8.6.3 端到端记忆网络431

8.6.4 动态记忆网络433

8.6.5 神经图灵机434

8.6.6 记忆网络的应用438

8.7 阅读材料440

参考文献441