第1章 強化學習簡介：AI智能體背后的智能
1.1 什么是人工智能，強化學習與它有什么關系
1.2 理解強化學習的基本設計
1.3 強化學習中的獎勵和確定一個合適的獎勵函數所涉及的問題
1.4 強化學習的狀態
1.5 強化學習中的智能體
1.6 小結
第2章 強化學習的數學和算法理解：馬爾可夫決策過程與解決方法
2.1 馬爾可夫決策過程
2.2 貝爾曼方程
2.3 動態規劃和貝爾曼方程
2.4 價值迭代和策略迭代方法
2.5 小結
第3章 編碼環境和馬爾可夫決策過程的求解：編碼環境、價值迭代和策略迭代算法
3.1 以網格世界問題為例
3.2 構建環境
3.3 平臺要求和代碼的工程架構
3.4 創建網格世界環境的代碼
3.5 基于價值迭代方法求解網格世界的代碼
3.6 基于策略迭代方法求解網格世界的代碼
3.7 小結
第4章 時序差分學習、SARSA和Q學習：幾種常用的基于值逼近的強化學習方法
4.1 經典DP的挑戰
4.2 基于模型和無模型的方法
4.3 時序差分（TD）學習
4.4 SARSA
4.5 Q學習
4.6 決定“探索”和“利用”之間概率的算法（賭博機算法）
4.7 小結
第5章 Q學習編程：Q學習智能體和行為策略編程
5.1 工程結構與依賴項
5.2 代碼
5.3 訓練統計圖
第6章 深度學習簡介
6.1 人工神經元——深度學習的基石
6.2 前饋深度神經網絡（DNN）
6.3 深度學習中的架構注意事項
6.4 卷積神經網絡——用于視覺深度學習
6.5 小結
第7章 可運用的資源：訓練環境和智能體實現庫
7.1 你并不孤單
7.2 標準化的訓練環境和平臺
7.3 Agent開發與實現庫
第8章 深度Q網絡、雙DQN和競爭DQN
8.1 通用人工智能
8.2 Google“Deep Mind”和“AlphaGo”簡介
8.3 DQN算法
8.4 雙DQN算法
8.5 競爭DQN算法
8.6 小結
第9章 雙DQN的代碼：用￡衰減行為策略編碼雙DQN
9.1 項目結構和依賴關系
9.2 雙DQN智能體的代碼（文件：DoubleDQN.py）
9.3 訓練統計圖
第10章 基于策略的強化學習方法：隨機策略梯度與REINFORCE算法
10.1 基于策略的方法和策略近似介紹
10.2 基于價值的方法和基于策略的方法的廣義區別
10.3 計算策略梯度的問題
10.4 REINFORCE算法
10.5 REINFORCE算法中減少方差的方法
10.6 為REINFORCE算法選擇基線
10.7 小結
第11章 演員-評論家模型和A3C：異步優勢演員-評論家模型
11.1 演員-評論家方法簡介
11.2 演員-評論家方法的概念設計
11.3 演員-評論家實現的架構
11.4 異步優勢行動者-評論家實現（A3C）
11.5 （同步）優勢演員-評論家實現（A2C）
11.6 小結
第12章 A3C的代碼：編寫異步優勢演員-評論家代碼
12.1 項目結構和依賴關系
12.2 代碼（A3C_Master—File：a3c_master.py）
12.3 訓練統計圖
第13章 確定性策略梯度和DDPG：基于確定性策略梯度的方法
13.1 確定性策略梯度（DPG）
13.2 深度確定性策略梯度（DDPG）
13.3 小結
第14章 DDPG的代碼：使用高級封裝的庫編寫DDPG的代碼
14.1 用于強化學習的高級封裝的庫
14.2 Mountain Car Continuous（Gym）環境
14.3 項目結構和依賴關系
14.4 代碼（文件：ddpg_continout_action.py）
14.5 智能體使用“MountainCarContinous-v0”環境
參考文獻