第Ⅰ部分 深度學習基礎

第1章 概率深度學習簡介 3

1.1 概率模型初探 4

1.2 初步了解深度學習 7

1.3 分類 10

1.3.1 傳統(tǒng)圖像分類方法 11

1.3.2 深度學習圖像分類方法 15

1.3.3 非概率分類 17

1.3.4 概率分類 18

1.3.5 貝葉斯概率分類 19

1.4 曲線擬合 21

1.4.1 非概率曲線擬合 21

1.4.2 概率曲線擬合 23

1.4.3 貝葉斯概率曲線擬合 25

1.5 何時使用和何時不使用深度學習 26

1.5.1 不宜使用深度學習的情況 27

1.5.2 適宜使用深度學習的情況 27

1.5.3 何時使用和何時不使用概率模型 28

1.6 你將在本書中學到什么 28

1.7 小結 29

第2章 神經(jīng)網(wǎng)絡架構 31

2.1 全連接神經(jīng)網(wǎng)絡(fcNN) 32

2.1.1 人工神經(jīng)網(wǎng)絡的生物學原型 33

2.1.2 神經(jīng)網(wǎng)絡的實現(xiàn)入門 35

2.1.3 使用全連接神經(jīng)網(wǎng)絡對圖像進行分類 48

2.2 用于圖像類數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡 56

2.2.1 卷積神經(jīng)網(wǎng)絡架構中的主要思想 57

2.2.2 “邊緣愛好者”*小卷積神經(jīng)網(wǎng)絡 61

2.2.3 卷積神經(jīng)網(wǎng)絡架構的生物學起源 64

2.2.4 建立和理解卷積神經(jīng)網(wǎng)絡 66

2.3 用于序列數(shù)據(jù)的一維卷積神經(jīng)網(wǎng)絡 72

2.3.1 時序數(shù)據(jù)格式 73

2.3.2 有序數(shù)據(jù)有何特別之處 74

2.3.3 時間序列數(shù)據(jù)網(wǎng)絡架構 75

2.4 小結 77

第3章 曲線擬合原理 79

3.1 曲線擬合中的“Hello World” 81

3.2 梯度下降法 88

3.2.1 具有一個模型自由參數(shù)的損失函數(shù) 89

3.2.2 具有兩個模型自由參數(shù)的損失函數(shù) 93

3.3 深度學習中的特殊技巧 98

3.3.1 小批量梯度下降 99

3.3.2 使用隨機梯度下降改進算法來加快學習速度 100

3.3.3 自動微分 100

3.4 深度學習框架中的反向傳播 101

3.4.1 靜態(tài)圖框架 102

3.4.2 動態(tài)圖框架 112

3.5 小結 114

第Ⅱ部分 概率深度學習模型的*大似然方法

第4章 *大似然定義損失函數(shù) 117

4.1 損失函數(shù)之母——*大似然原則 118

4.2 分類問題損失函數(shù)推導 124

4.2.1 二元分類問題 125

4.2.2 兩個以上類別分類問題 133

4.2.3 負對數(shù)似然、交叉熵和K-L散度之間的關系 137

4.3 回歸問題損失函數(shù)推導 140

4.3.1 使用無隱藏層、單輸出神經(jīng)網(wǎng)絡對輸入與輸出的線性關系進行建模 140

4.3.2 采用具有隱藏層的神經(jīng)網(wǎng)絡對輸入與輸出的非線性關系進行建模 151

4.3.3 采用兩輸出神經(jīng)網(wǎng)絡對異方差回歸任務進行建模 153

4.4 小結 159

第5章 基于TensorFlow概率編程的概率深度學習模型 161

5.1 不同概率預測模型的評價和比較 165

5.2 TFP概率編程概述 166

5.3 基于TFP概率編程的連續(xù)數(shù)據(jù)建模 171

5.3.1 常量方差線性回歸模型的擬合與評估 172

5.3.2 變方差線性回歸模型的擬合與評估 176

5.4 基于TFP的計數(shù)數(shù)據(jù)建模 182

5.4.1 適用于計數(shù)數(shù)據(jù)的泊松分布 187

5.4.2 擴展泊松分布為零膨脹泊松(ZIP)分布 193

5.5 小結 197

第6章 “野外世界”中的概率深度學習模型 198

6.1 高級深度學習模型中的靈活概率分布 200

6.1.1 多項式分布作為一種靈活分布 201

6.1.2 理解離散邏輯混合 204

6.2 案例研究：巴伐利亞公路傷亡事故 208

6.3 與流同行：標準化流(NF)簡介 210

6.3.1 標準化流的基本原理 212

6.3.2 概率變量變換 215

6.3.3 標準化流模型擬合 222

6.3.4 鏈接流以實現(xiàn)深度變換 224

6.3.5 高維空間變換* 229

6.3.6 流操作的網(wǎng)絡實現(xiàn) 232

6.3.7 有趣的流模型：人臉圖像采樣 239

6.4 小結 245

第Ⅲ部分 概率深度學習模型的貝葉斯方法

第7章 貝葉斯學習 249

7.1 非貝葉斯深度學習的弊端，以房間里的大象為例 250

7.2 初始貝葉斯方法 255

7.2.1 貝葉斯模型：黑客式 255

7.2.2 我們剛剛做了什么 260

7.3 貝葉斯概率模型 261

7.3.1 貝葉斯模型訓練和預測 263

7.3.2 投擲硬幣，貝葉斯模型的“Hello World” 270

7.3.3 貝葉斯線性回歸模型回顧 282

7.4 小結 288

第8章 貝葉斯神經(jīng)網(wǎng)絡 289

8.1 貝葉斯神經(jīng)網(wǎng)絡概述 291

8.2 變分推理貝葉斯近似 293

8.2.1 深入了解變分推理* 294

8.2.2 變分推理簡單應用* 300

8.3 變分推理TFP實現(xiàn) 309

8.4 蒙特卡羅dropout貝葉斯近似 312

8.4.1 經(jīng)典dropout訓練方法 313

8.4.2 在訓練和測試過程中采用蒙特卡羅dropout 317

8.5 案例研究 320

8.5.1 回歸中的外推問題 320

8.5.2 分類任務中新類別問題 326

8.6 小結 336

術語和縮寫詞的詞表 337