强化学习 原理与Python实现2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

强化学习 原理与Python实现PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 初识强化学习1

1.1 强化学习及其关键元素1

1.2 强化学习的应用3

1.3 智能体/环境接口4

1.4 强化学习的分类6

1.4.1 按任务分类6

1.4.2 按算法分类7

1.5 如何学习强化学习8

1.5.1 学习路线9

1.5.2 学习资源9

1.6 案例：基于Gym库的智能体/环境交互9

1.6.1 安装Gym库10

1.6.2 使用Gym库10

1.6.3 小车上山12

1.7 本章小结14

第2章 Markov决策过程16

2.1 Markov决策过程模型16

2.1.1 离散时间Markov决策过程16

2.1.2 环境与动力18

2.1.3 智能体与策略19

2.1.4 奖励、回报与价值函数19

2.2 Bellman期望方程21

2.3 最优策略及其性质25

2.3.1 最优策略与最优价值函数25

2.3.2 Bellman最优方程25

2.3.3 用Bellman最优方程求解最优策略29

2.4 案例：悬崖寻路31

2.4.1 实验环境使用31

2.4.2 求解Bellman期望方程32

2.4.3 求解Bellman最优方程33

2.5 本章小结35

第3章 有模型数值迭代37

3.1 度量空间与压缩映射37

3.1.1 度量空间及其完备性37

3.1.2 压缩映射与Bellman算子38

3.1.3 Banach不动点定理39

3.2 有模型策略迭代40

3.2.1 策略评估40

3.2.2 策略改进42

3.2.3 策略迭代44

3.3 有模型价值迭代45

3.4 动态规划46

3.4.1 从动态规划看迭代算法46

3.4.2 异步动态规划47

3.5 案例：冰面滑行47

3.5.1 实验环境使用48

3.5.2 有模型策略迭代求解49

3.5.3 有模型价值迭代求解51

3.6 本章小结52

第4章 回合更新价值迭代54

4.1 同策回合更新54

4.1.1 同策回合更新策略评估54

4.1.2 带起始探索的同策回合更新58

4.1.3 基于柔性策略的同策回合更新60

4.2 异策回合更新62

4.2.1 重要性采样62

4.2.2 异策回合更新策略评估64

4.2.3 异策回合更新最优策略求解65

4.3 案例：21点游戏66

4.3.1 实验环境使用66

4.3.2 同策策略评估67

4.3.3 同策最优策略求解70

4.3.4 异策策略评估72

4.3.5 异策最优策略求解73

4.4 本章小结74

第5章 时序差分价值迭代76

5.1 同策时序差分更新76

5.1.1 时序差分更新策略评估78

5.1.2 SARSA算法81

5.1.3 期望SARSA算法83

5.2 异策时序差分更新85

5.2.1 基于重要性采样的异策算法85

5.2.2 Q学习86

5.2.3 双重Q学习87

5.3 资格迹89

5.3.1 λ回报89

5.3.2 TD（λ）90

5.4 案例：出租车调度92

5.4.1 实验环境使用93

5.4.2 同策时序差分学习调度94

5.4.3 异策时序差分学习调度97

5.4.4 资格迹学习调度99

5.5 本章小结100

第6章 函数近似方法101

6.1 函数近似原理101

6.1.1 随机梯度下降101

6.1.2 半梯度下降103

6.1.3 带资格迹的半梯度下降105

6.2 线性近似107

6.2.1 精确查找表与线性近似的关系107

6.2.2 线性最小二乘策略评估107

6.2.3 线性最小二乘最优策略求解109

6.3 函数近似的收敛性109

6.4 深度Q学习110

6.4.1 经验回放111

6.4.2 带目标网络的深度Q学习112

6.4.3 双重深度Q网络114

6.4.4 对偶深度Q网络114

6.5 案例：小车上山115

6.5.1 实验环境使用116

6.5.2 用线性近似求解最优策略117

6.5.3 用深度Q学习求解最优策略120

6.6 本章小结123

第7章 回合更新策略梯度方法125

7.1 策略梯度算法的原理125

7.1.1 函数近似与动作偏好125

7.1.2 策略梯度定理126

7.2 同策回合更新策略梯度算法128

7.2.1 简单的策略梯度算法128

7.2.2 带基线的简单策略梯度算法129

7.3 异策回合更新策略梯度算法131

7.4 策略梯度更新和极大似然估计的关系132

7.5 案例：车杆平衡132

7.5.1 同策策略梯度算法求解最优策略133

7.5.2 异策策略梯度算法求解最优策略135

7.6 本章小结137

第8章 执行者/评论者方法139

8.1 同策执行者/评论者算法139

8.1.1 动作价值执行者/评论者算法140

8.1.2 优势执行者/评论者算法141

8.1.3 带资格迹的执行者/评论者算法143

8.2 基于代理优势的同策算法143

8.2.1 代理优势144

8.2.2 邻近策略优化145

8.3 信任域算法146

8.3.1 KL散度146

8.3.2 信任域147

8.3.3 自然策略梯度算法148

8.3.4 信任域策略优化151

8.3.5 Kronecker因子信任域执行者/评论者算法152

8.4 重要性采样异策执行者/评论者算法153

8.4.1 基本的异策算法154

8.4.2 带经验回放的异策算法154

8.5 柔性执行者/评论者算法157

8.5.1 熵157

8.5.2 奖励工程和带熵的奖励158

8.5.3 柔性执行者/评论者的网络设计159

8.6 案例：双节倒立摆161

8.6.1 同策执行者/评论者算法求解最优策略162

8.6.2 异策执行者/评论者算法求解最优策略168

8.7 本章小结170

第9章 连续动作空间的确定性策略172

9.1 同策确定性算法172

9.1.1 策略梯度定理的确定性版本172

9.1.2 基本的同策确定性执行者/评论者算法174

9.2 异策确定性算法176

9.2.1 基本的异策确定性执行者/评论者算法177

9.2.2 深度确定性策略梯度算法177

9.2.3 双重延迟深度确定性策略梯度算法178

9.3 案例：倒立摆的控制180

9.3.1 用深度确定性策略梯度算法求解181

9.3.2 用双重延迟深度确定性算法求解184

9.4 本章小结187

第10章 综合案例：电动游戏188

10.1 Atari游戏环境188

10.1.1 Gym库的完整安装188

10.1.2 游戏环境使用190

10.2 基于深度Q学习的游戏AI191

10.2.1 算法设计192

10.2.2 智能体的实现193

10.2.3 智能体的训练和测试197

10.3 本章小结198

第11章 综合案例：棋盘游戏200

11.1 双人确定性棋盘游戏200

11.1.1 五子棋和井字棋200

11.1.2 黑白棋201

11.1.3 围棋202

11.2 A1phaZero算法203

11.2.1 回合更新树搜索203

11.2.2 深度残差网络206

11.2.3 自我对弈208

11.2.4 算法流程210

11.3 棋盘游戏环境boardgame2210

11.3.1 为Gym库扩展自定义环境211

11.3.2 boardgame2设计211

11.3.3 Gym环境接口的实现214

11.3.4 树搜索接口的实现216

11.4 A1phaZero算法实现218

11.4.1 智能体类的实现218

11.4.2 自我对弈的实现223

11.4.3 训练智能体224

11.5 本章小结225

第12章 综合案例：自动驾驶226

12.1 AirSim开发环境使用226

12.1.1 安装和运行AirSim226

12.1.2 用Python访问AirSim228

12.2 基于强化学习的自动驾驶229

12.2.1 为自动驾驶设计强化学习环境230

12.2.2 智能体设计和实现235

12.2.3 智能体的训练和测试237

12.3 本章小结239