第 1章 了解强化学习 1
1.1 强化学习与各关键词之间的关系 1
1.2 强化学习的优点和弱点 8
1.3 强化学习的问题设定:马尔可夫决策过程 9
第 2章 强化学习的解法(1):根据环境制订计划 21
2.1 价值的定义和计算:贝尔曼方程 22
2.2 基于动态规划法的价值近似的学习:价值迭代 28
2.3 基于动态规划法的策略的学习:策略迭代 32
2.4 基于模型的方法和无模型的方法的区别 36
第3章 强化学习的解法(2):根据经验制订计划 39
3.1 平衡经验的积累与利用:Epsilon-Greedy 算法 41
3.2 是根据实际奖励还是预测来修正计划:蒙特卡洛方法和时序差分学习 46
3.3 用经验来更新价值近似还是策略:基于价值和基于策略 62
第4章 使用面向强化学习的神经网络 73
4.1 将神经网络应用于强化学习 74
4.2 通过含有参数的函数实现价值近似:价值函数近似 100
4.3 将深度学习应用于价值近似:DQN 109
4.4 通过含有参数的函数实现策略:策略梯度 121
4.5 将深度学习应用于策略:A2C 133
4.6 是价值近似还是策略呢 153
第5章 强化学习的弱点 157
5.1 获取样本的效率低 157
5.2 容易陷入局部最优行动和过拟合160
5.3 复现性差 163
5.4 以弱点为前提的对策 164
第6章 克服强化学习弱点的方法 169
6.1 应对采样效率低的方法:与基于模型的方法一起使用、表征学习 170
6.2 改善复现性的方法:进化策略 198
6.3 应对局部最优行动和过拟合的方法:模仿学习和逆强化学习 206
第7章 强化学习的应用领域 237
7.1 行动的最优化 239
7.2 学习的最优化 248
参考文献 252