CONTENTS
目　　錄

譯者序
前言
第1章　簡(jiǎn)介 1
1.1　機(jī)器學(xué)習(xí)的曙光 1
1.1.1　“Jeopardy!”中的IBM Watson
挑戰(zhàn) 1
1.1.2　ImageNet挑戰(zhàn) 2
1.1.3　谷歌AlphaGo挑戰(zhàn)職業(yè)
圍棋選手 2
1.2　機(jī)器學(xué)習(xí)及其應(yīng)用 3
1.2.1　定義 3
1.2.2　應(yīng)用 3
1.3　學(xué)習(xí)及其性能指標(biāo) 4
1.3.1　學(xué)習(xí)前的準(zhǔn)備 5
1.3.2　學(xué)習(xí)方法 7
1.3.3　性能指標(biāo)和驗(yàn)證 8
1.4　例子 11
1.4.1　工業(yè)4.0 11
1.4.2　交易（區(qū)塊鏈） 12
1.5　機(jī)器學(xué)習(xí)的總結(jié) 15
1.5.1　與人工智能的區(qū)別 15
1.5.2　炒作周期 15
第2章　傳統(tǒng)的微架構(gòu) 16
2.1　微處理器 16
2.1.1　處理器核心的微架構(gòu) 16
2.1.2　微處理器的編程模型 17
2.1.3　微處理器的復(fù)雜性 18
2.1.4　超標(biāo)量處理器的優(yōu)點(diǎn)和
缺點(diǎn) 20
2.1.5　寄存器文件的規(guī)模 20
2.1.6　分支預(yù)測(cè)及其懲罰 20
2.2　多核處理器 21
2.2.1　眾核的概念 21
2.2.2　編程模型 21
2.3　數(shù)字信號(hào)處理器 22
2.3.1　DSP的概念 22
2.3.2　DSP微架構(gòu) 23
2.4　圖形處理單元 24
2.4.1　GPU的概念 24
2.4.2　GPU微架構(gòu) 24
2.4.3　GPU上的編程模型 26
2.4.4　將GPU應(yīng)用于計(jì)算系統(tǒng) 26
2.5　現(xiàn)場(chǎng)可編程門陣列 27
2.5.1　FPGA的概念 27
2.5.2　FPGA微架構(gòu) 27
2.5.3　FPGA設(shè)計(jì)流程 28
2.5.4　將FGPA應(yīng)用于計(jì)算系統(tǒng) 29
2.6　特定領(lǐng)域架構(gòu)的前景 30
2.6.1　過去的計(jì)算機(jī)行業(yè) 30
2.6.2　機(jī)器學(xué)習(xí)硬件的歷史 31
2.6.3　重新審視機(jī)器學(xué)習(xí)硬件 32
2.7　執(zhí)行性能的衡量指標(biāo) 34
2.7.1　延遲和吞吐量 34
2.7.2　每秒的操作數(shù) 35
2.7.3　能耗和功耗 36
2.7.4　能效 37
2.7.5　利用情況 39
2.7.6　數(shù)據(jù)重用 40
2.7.7　面積 41
2.7.8　成本 41
第3章　機(jī)器學(xué)習(xí)及其實(shí)現(xiàn) 43
3.1　神經(jīng)元及其網(wǎng)絡(luò) 43
3.2　神經(jīng)形態(tài)計(jì)算 45
3.2.1　脈沖時(shí)序依賴可塑性和
學(xué)習(xí) 45
3.2.2　神經(jīng)形態(tài)計(jì)算硬件 46
3.2.3　地址-事件表示 48
3.3　神經(jīng)網(wǎng)絡(luò) 49
3.3.1　神經(jīng)網(wǎng)絡(luò)模型 50
3.3.2　以前和現(xiàn)在的神經(jīng)網(wǎng)絡(luò) 52
3.3.3　神經(jīng)網(wǎng)絡(luò)硬件 53
3.4　用于模擬實(shí)現(xiàn)的內(nèi)存單元 57
第4章　應(yīng)用、ASIC和特定領(lǐng)域架構(gòu) 58
4.1　應(yīng)用 58
4.1.1　應(yīng)用的概念 58
4.2　應(yīng)用的特征 59
4.2.1　局部性 59
4.2.2　死鎖 60
4.2.3　依賴性 62
4.2.4　時(shí)間和空間操作 64
4.3　特定應(yīng)用的集成電路 65
4.3.1　設(shè)計(jì)約束 65
4.3.2　模塊化結(jié)構(gòu)和大規(guī)模生產(chǎn) 69
4.3.3　牧村波動(dòng) 70
4.3.4　設(shè)計(jì)流程 71
4.4　特定領(lǐng)域架構(gòu) 71
4.4.1　特定領(lǐng)域架構(gòu)簡(jiǎn)介 71
4.4.2　特定領(lǐng)域語(yǔ)言 72
4.5　機(jī)器學(xué)習(xí)硬件 73
4.6　深度學(xué)習(xí)上的推理分析和訓(xùn)練
分析 74
4.6.1　深度學(xué)習(xí)上的推理分析 74
4.6.2　深度學(xué)習(xí)上的訓(xùn)練分析 76
第5章　機(jī)器學(xué)習(xí)模型開發(fā) 79
5.1　開發(fā)過程 79
5.1.1　開發(fā)周期 79
5.1.2　交叉驗(yàn)證 80
5.1.3　軟件棧 81
5.2　編譯器 82
5.2.1　ONNX 82
5.2.2　NNVM 83
5.2.3　TensorFlow XLA 83
5.3　代碼優(yōu)化 83
5.3.1　提取數(shù)據(jù)級(jí)并行 83
5.3.2　內(nèi)存訪問優(yōu)化 84
5.4　Python腳本語(yǔ)言和虛擬機(jī) 85
5.4.1　Python和優(yōu)化 85
5.4.2　虛擬機(jī) 86
5.5　計(jì)算統(tǒng)一設(shè)備架構(gòu) 87
第6章　性能提升方法 89
6.1　模型壓縮 89
6.1.1　剪枝 89
6.1.2　dropout 93
6.1.3　dropconnect 94
6.1.4　蒸餾 94
6.1.5　主成分分析 96
6.1.6　權(quán)重共享 97
6.2　數(shù)值壓縮 99
6.2.1　量化和數(shù)值精度 100
6.2.2　對(duì)內(nèi)存占用和推理準(zhǔn)確性
的影響 103
6.2.3　切邊和剪裁 109
6.3　編碼 110
6.3.1　游程編碼 110
6.3.2　霍夫曼編碼 111
6.3.3　壓縮的效果 113
6.4　零值跳過 116
6.4.1　零值跳過的概念 116
6.4.2　CSR和CSC的稀疏表示 116
6.4.3　零值跳過的用例 119
6.5　近似 121
6.5.1　近似的概念 121
6.5.2　激活函數(shù)近似 121
6.5.3　乘法器的近似 123
6.6　優(yōu)化 125
6.6.1　模型優(yōu)化 125
6.6.2　數(shù)據(jù)流優(yōu)化 126
6.7　性能提升方法的總結(jié) 128
第7章　硬件實(shí)現(xiàn)的案例研究 130
7.1　神經(jīng)形態(tài)計(jì)算 130
7.1.1　模擬邏輯電路 130
7.1.2　數(shù)字邏輯電路 131
7.2　深度神經(jīng)網(wǎng)絡(luò) 135
7.2.1　模擬邏輯電路 135
7.2.2　DSP 137
7.2.3　FPGA 139
7.2.4　ASIC 145
7.3　量子計(jì)算 175
7.4　研究案例的總結(jié) 175
7.4.1　神經(jīng)形態(tài)計(jì)算的案例
研究 181
7.4.2　深度神經(jīng)網(wǎng)絡(luò)的案例
研究 181
7.4.3　神經(jīng)形態(tài)計(jì)算和深度神經(jīng)
網(wǎng)絡(luò)硬件之間的比較 182
第8章　硬件實(shí)現(xiàn)的關(guān)鍵 183
8.1　市場(chǎng)增長(zhǎng)預(yù)測(cè) 183
8.1.1　IoT市場(chǎng) 183
8.1.2　機(jī)器人市場(chǎng) 184
8.1.3　大數(shù)據(jù)和機(jī)器學(xué)習(xí)市場(chǎng) 184
8.1.4　藥物研發(fā)中的人工智能
市場(chǎng) 185
8.1.5　FPGA市場(chǎng) 185
8.1.6　深度學(xué)習(xí)芯片市場(chǎng) 185
8.2　設(shè)計(jì)和成本之間的權(quán)衡 186
8.3　硬件實(shí)現(xiàn)策略 188
8.3.1　策略規(guī)劃的要求 188
8.3.2　基本策略 191
8.3.3　替代因子 193
8.4　硬件設(shè)計(jì)要求概述 193
第9章　結(jié)論 194
附錄A　深度學(xué)習(xí)基礎(chǔ) 195
A.1　等式模型 195
A.1.1　前饋神經(jīng)網(wǎng)絡(luò)模型 196
A.1.2　激活函數(shù) 196
A.1.3　輸出層 197
A.1.4　學(xué)習(xí)和反向傳播 197
A.1.5　參數(shù)初始化 201
A.2　用于深度學(xué)習(xí)的矩陣操作 201
A.2.1　矩陣表示及其布局 202
A.2.2　用于學(xué)習(xí)的矩陣操作
序列 203
A.2.3　學(xué)習(xí)優(yōu)化 203
A.2.4　偏置-方差問題 203
附錄B　深度學(xué)習(xí)硬件建模 205
B.1　深度學(xué)習(xí)硬件的概念 205
B.1.1　參數(shù)空間與傳播之間的
關(guān)系 205
B.1.2　基本的深度學(xué)習(xí)硬件 206
B.2　深度學(xué)習(xí)硬件上的數(shù)據(jù)流 206
B.3　機(jī)器學(xué)習(xí)硬件架構(gòu) 207
附錄C　高級(jí)神經(jīng)網(wǎng)絡(luò)模型 208
C.1　CNN變體 208
C.1.1　卷積架構(gòu) 208
C.1.2　卷積的后向傳播 210
C.1.3　卷積的變體 213
C.1.4　深度卷積對(duì)抗生成
網(wǎng)絡(luò) 215
C.2　RNN變體 215
C.2.1　RNN架構(gòu) 215
C.2.2　LSTM和GRU單元 216
C.2.3　公路網(wǎng)絡(luò) 218
C.3　自編碼器變體 218
C.3.1　堆式去噪自編碼器 218
C.3.2　梯形網(wǎng)絡(luò) 219
C.3.3　變分自編碼器 220
C.4　殘差網(wǎng)絡(luò) 221
C.4.1　殘差網(wǎng)絡(luò)的概念 221
C.4.2　殘差網(wǎng)絡(luò)效應(yīng) 221
C.5　圖神經(jīng)網(wǎng)絡(luò) 222
C.5.1　圖神經(jīng)網(wǎng)絡(luò)的概念 222
附錄D　國(guó)家研究、趨勢(shì)和投資 224
D.1　中國(guó) 224
D.1.1　下一代人工智能發(fā)展
計(jì)劃 224
D.2　美國(guó) 225
D.2.1　SyNAPSE計(jì)劃 225
D.2.2　UPSIDE計(jì)劃 225
D.2.3　MICrONS計(jì)劃 225
D.3　歐洲 225
D.4　日本 226
D.4.1　內(nèi)政及通信省 226
D.4.2　文部科學(xué)省 226
D.4.3　日本經(jīng)濟(jì)貿(mào)易產(chǎn)業(yè)省 226
D.4.4　內(nèi)務(wù)省 227
附錄E　機(jī)器學(xué)習(xí)對(duì)社會(huì)的影響 228
E.1　產(chǎn)業(yè) 228
E.1.1　過去的產(chǎn)業(yè) 228
E.1.2　下一個(gè)產(chǎn)業(yè) 230
E.1.3　開源的軟件和硬件 230
E.1.4　社會(huì)企業(yè)和共享經(jīng)濟(jì) 231
E.2　機(jī)器學(xué)習(xí)與我們 231
E.2.1　機(jī)器學(xué)習(xí)可替代的領(lǐng)域 231
E.2.2　產(chǎn)業(yè)整合 232
E.2.3　一個(gè)簡(jiǎn)化的世界 232
E.3　社會(huì)與個(gè)人 233
E.3.1　將編程引入教育 233
E.3.2　價(jià)值改變 233
E.3.3　社會(huì)支持 235
E.3.4　犯罪 235
E.4　國(guó)家 236
E.4.1　警察和檢察官 236
E.4.2　行政、立法和司法 236
E.4.3　軍事 236
參考文獻(xiàn) 237