目 錄 第1章 人工智能概述 1 1.1 AI是什么 1 1.1.1 火熱的AI 2 1.1.2 AI的驅(qū)動(dòng)因素 3 1.2 AI技術(shù)的成熟度 4 1.2.1 視覺(jué)識(shí)別 4 1.2.2 自然語(yǔ)言理解 5 1.2.3 機(jī)器人 7 1.2.4 自動(dòng)駕駛 8 1.2.5 機(jī)器學(xué)習(xí) 9 1.2.6 游戲 10 1.3 美國(guó)AI巨頭分析 11 1.4 國(guó)內(nèi)AI現(xiàn)狀 16 1.5 AI與云計(jì)算和大數(shù)據(jù)的關(guān)系 17 1.6 AI技術(shù)路線 17 1.7 AI國(guó)家戰(zhàn)略 18 1.8 AI的歷史發(fā)展 19 第2章 AI產(chǎn)業(yè) 24 2.1 基礎(chǔ)層 25 2.1.1 芯片產(chǎn)業(yè) 25 2.1.2 GPU 27 2.1.3 FPGA 28 2.1.4 ASIC 28 2.1.5 TPU 29 2.1.6 亞馬遜的芯片 31 2.1.7 芯片產(chǎn)業(yè)小結(jié) 32 2.1.8 傳感器 33 2.1.9 傳感器小結(jié) 35 2.2 技術(shù)層 37 2.2.1 機(jī)器學(xué)習(xí) 37 2.2.2 語(yǔ)音識(shí)別與自然語(yǔ)言處理 39 2.2.3 計(jì)算機(jī)視覺(jué) 42 2.3 應(yīng)用層 44 2.3.1 安防 44 2.3.2 金融 45 2.3.3 制造業(yè) 47 2.3.4 智能家居 48 2.3.5 醫(yī)療 48 2.3.6 自動(dòng)駕駛 50 2.4 AI產(chǎn)業(yè)發(fā)展趨勢(shì)分析 55 第3章 數(shù) 據(jù) 58 3.1 什么是大數(shù)據(jù) 59 3.1.1 大數(shù)據(jù)的特征 59 3.1.2 大數(shù)據(jù)的誤區(qū) 60 3.1.3 大數(shù)據(jù)交易難點(diǎn) 60 3.1.4 大數(shù)據(jù)的來(lái)源 62 3.1.5 數(shù)據(jù)關(guān)聯(lián) 63 3.1.6 大數(shù)據(jù)生產(chǎn)鏈 64 3.1.7 大數(shù)據(jù)怎么用 64 3.2 國(guó)內(nèi)大數(shù)據(jù)現(xiàn)狀 65 3.2.1 政策持續(xù)完善 66 3.2.2 技術(shù)和應(yīng)用逐步落地 66 3.2.3 數(shù)據(jù)產(chǎn)生價(jià)值難 67 3.2.4 問(wèn)題與機(jī)遇并存 67 3.3 大數(shù)據(jù)的計(jì)算模式 68 3.3.1 流式計(jì)算的應(yīng)用場(chǎng)景 69 3.3.2 流式大數(shù)據(jù)的特征 70 3.3.3 流式計(jì)算關(guān)鍵技術(shù) 72 3.4 大數(shù)據(jù)技術(shù) 74 3.4.1 數(shù)據(jù)技術(shù)的演進(jìn) 75 3.4.2 分布式計(jì)算系統(tǒng)概述 76 3.4.3 Hadoop 77 3.4.4 Spark 80 3.4.5 Storm系統(tǒng) 82 3.4.6 Kafka系統(tǒng) 84 3.4.7 各類技術(shù)平臺(tái)比較 86 3.5 數(shù)據(jù)平臺(tái) 88 3.5.1 數(shù)據(jù)存儲(chǔ)和計(jì)算 89 3.5.2 數(shù)據(jù)質(zhì)量 92 3.5.3 數(shù)據(jù)管理 97 3.5.4 數(shù)據(jù)目錄 99 3.5.5 數(shù)據(jù)安全管控 100 3.5.6 數(shù)據(jù)準(zhǔn)備 102 3.5.7 數(shù)據(jù)整合 107 3.5.8 數(shù)據(jù)服務(wù) 107 3.5.9 數(shù)據(jù)開(kāi)發(fā) 107 3.5.10 數(shù)據(jù)平臺(tái)總結(jié) 108 3.6 大數(shù)據(jù)的商用途徑 109 3.6.1 數(shù)據(jù)化 109 3.6.2 算法化 109 3.6.3 應(yīng)用化（產(chǎn)品化） 110 3.6.4 生態(tài)化 111 3.7 大數(shù)據(jù)產(chǎn)業(yè) 112 3.7.1 大數(shù)據(jù)產(chǎn)業(yè)界定 112 3.7.2 大數(shù)據(jù)技術(shù)發(fā)展的推動(dòng)力 114 3.7.3 重點(diǎn)行業(yè)的大數(shù)據(jù)應(yīng)用 117 3.7.4 大數(shù)據(jù)應(yīng)用發(fā)展趨勢(shì) 123 3.7.5 大數(shù)據(jù)的產(chǎn)業(yè)鏈構(gòu)成分析 123 3.8 政府大數(shù)據(jù)案例分析 125 3.8.1 政府有哪些數(shù)據(jù)資源 126 3.8.2 政府大數(shù)據(jù)應(yīng)用案例 126 3.8.3 政府大數(shù)據(jù)面臨的挑戰(zhàn) 130 3.8.4 政府大數(shù)據(jù)應(yīng)用啟示 131 第4章 機(jī)器學(xué)習(xí)概述 133 4.1 走進(jìn)機(jī)器學(xué)習(xí) 133 4.1.1 什么是機(jī)器學(xué)習(xí) 133 4.1.2 機(jī)器學(xué)習(xí)的感性認(rèn)識(shí) 133 4.1.3 機(jī)器學(xué)習(xí)的本質(zhì) 134 4.1.4 對(duì)機(jī)器學(xué)習(xí)的全面認(rèn)識(shí) 135 4.1.5 機(jī)器學(xué)習(xí)、深度學(xué)習(xí)與人工智能 136 4.1.6 機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘與數(shù)據(jù)分析 137 4.2 機(jī)器學(xué)習(xí)的基本概念 139 4.2.1 數(shù)據(jù)集、特征和標(biāo)簽 139 4.2.2 監(jiān)督式學(xué)習(xí)和非監(jiān)督式學(xué)習(xí) 140 4.2.3 強(qiáng)化學(xué)習(xí)和遷移學(xué)習(xí) 140 4.2.4 特征數(shù)據(jù)類型 141 4.2.5 訓(xùn)練集、驗(yàn)證集和測(cè)試集 141 4.2.6 機(jī)器學(xué)習(xí)的任務(wù)流程 142 4.3 數(shù)據(jù)預(yù)處理 142 4.3.1 探索性分析 143 4.3.2 數(shù)據(jù)清洗 143 4.3.3 特征工程 145 第5章 模 型 146 5.1 什么是模型 146 5.2 誤差和MSE 148 5.3 模型的訓(xùn)練 149 5.3.1 模型與算法的區(qū)別 149 5.3.2 迭代法 150 5.4 梯度下降法 151 5.4.1 步長(zhǎng) 152 5.4.2 優(yōu)化步長(zhǎng) 152 5.4.3 三類梯度下降法 153 5.4.4 梯度下降的詳細(xì)算法 154 5.5 模型的擬合效果 155 5.5.1 欠擬合與過(guò)擬合 155 5.5.2 過(guò)擬合的處理方法 156 5.6 模型的評(píng)估與改進(jìn) 157 5.6.1 機(jī)器學(xué)習(xí)模型的評(píng)估 157 5.6.2 機(jī)器學(xué)習(xí)算法與人類比較 158 5.6.3 改進(jìn)策略 159 5.7 機(jī)器學(xué)習(xí)的實(shí)現(xiàn)框架 160 5.7.1 Python 160 5.7.2 scikit-learn 161 5.7.3 Spark MLlib 163 第6章 機(jī)器學(xué)習(xí)算法 164 6.1 算法概述 164 6.1.1 線性回歸 165 6.1.2 邏輯回歸 165 6.1.3 線性判別分析 166 6.1.4 分類與回歸樹(shù)分析 167 6.1.5 樸素貝葉斯 167 6.1.6 K*近鄰算法 168 6.1.7 學(xué)習(xí)矢量量化 168 6.1.8 支持向量機(jī) 169 6.1.9 Bagging和隨機(jī)森林 170 6.1.10 Boosting和AdaBoost 170 6.2 支持向量機(jī)算法 171 6.3 邏輯回歸算法 173 6.4 KNN算法 175 6.4.1 超參數(shù)k 175 6.4.2 KNN實(shí)例：波士頓房?jī)r(jià)預(yù)測(cè) 177 6.4.3 算法評(píng)價(jià) 179 6.5 決策樹(shù)算法 179 6.6 集成算法 182 6.6.1 集成算法簡(jiǎn)述 182 6.6.2 集成算法之Bagging 183 6.6.3 集成算法之Boosting 184 6.7 聚類算法 185 6.7.1 K均值聚類 185 6.7.2 均值漂移聚類 186 6.7.3 基于密度的聚類方法 187 6.7.4 用高斯混合模型的*大期望聚類 188 6.7.5 凝聚層次聚類 189 6.7.6 圖團(tuán)體檢測(cè) 190 6.8 機(jī)器學(xué)習(xí)算法總結(jié) 192 第7章 深度學(xué)習(xí) 193 7.1 走進(jìn)深度學(xué)習(xí) 193 7.1.1 深度學(xué)習(xí)為何崛起 194 7.1.2 從邏輯回歸到淺層神經(jīng)網(wǎng)絡(luò) 194 7.1.3 深度神經(jīng)網(wǎng)絡(luò) 196 7.1.4 正向傳播 197 7.1.5 激活函數(shù) 197 7.2 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 197 7.2.1 神經(jīng)網(wǎng)絡(luò)的參數(shù) 197 7.2.2 向量化 198 7.2.3 價(jià)值函數(shù) 198 7.2.4 梯度下降和反向傳播 198 7.3 神經(jīng)網(wǎng)絡(luò)的優(yōu)化和改進(jìn) 199 7.3.1 神經(jīng)網(wǎng)絡(luò)的優(yōu)化策略 199 7.3.2 正則化方法 201 7.4 卷積神經(jīng)網(wǎng)絡(luò) 203 7.4.1 卷積運(yùn)算 203 7.4.2 卷積層 204 7.4.3 CNN實(shí)例 205 7.5 深度學(xué)習(xí)的優(yōu)勢(shì) 210 7.6 深度學(xué)習(xí)的實(shí)現(xiàn)框架 211 第8章 TensorFlow 213 8.1 TensorFlow工具包 213 8.1.1 tf.estimator API 214 8.1.2 Pandas速成 214 8.1.3 必要的Python知識(shí) 216 8.2 **個(gè)TensorFlow程序 219 8.2.1 裝載數(shù)據(jù) 220 8.2.2 探索數(shù)據(jù) 221 8.2.3 訓(xùn)練模型 221 8.2.4 評(píng)估模型 223 8.2.5 優(yōu)化模型 225 8.2.6 合成特征 231 8.2.7 離群值處理 234 8.3 過(guò)擬合處理 237 8.3.1 訓(xùn)練集和測(cè)試集 238 8.3.2 驗(yàn)證集 239 8.3.3 過(guò)擬合實(shí)例 240 8.4 特征工程 249 8.4.1 數(shù)值型數(shù)據(jù) 249 8.4.2 字符串?dāng)?shù)據(jù)和one-hot編碼 250 8.4.3 枚舉數(shù)據(jù)（分類數(shù)據(jù)） 250 8.4.4 好特征 250 8.4.5 數(shù)據(jù)清洗 251 8.4.6 分箱（分桶）技術(shù) 252 8.4.7 特征工程實(shí)例 253 第9章 TensorFlow高級(jí)知識(shí) 263 9.1 特征交叉 263 9.1.1 什么是特征交叉 263 9.1.2 FTRL實(shí)踐 265 9.1.3 分桶（分箱）代碼實(shí)例 268 9.1.4 特征交叉代碼實(shí)例 271 9.2 L2正則化 274 9.3 邏輯回歸 276 9.4 分類 279 9.4.1 評(píng)價(jià)指標(biāo)—準(zhǔn)確率 279 9.4.2 評(píng)價(jià)指標(biāo)—精確率 281 9.4.3 指標(biāo)—召回率 281 9.4.4 評(píng)價(jià)指標(biāo)之綜合考慮 282 9.4.5 ROC 曲線 284 9.4.6 預(yù)測(cè)偏差 285 9.4.7 分類代碼實(shí)例 286 9.5 L1正則化 298 第10章 神經(jīng)網(wǎng)絡(luò) 308 10.1 什么是神經(jīng)網(wǎng)絡(luò) 308 10.1.1 隱藏層 308 10.1.2 激活函數(shù) 309 10.1.3 ReLU 310 10.1.4 實(shí)例代碼 311 10.2 訓(xùn)練神經(jīng)網(wǎng)絡(luò) 320 10.2.1 正向傳播算法 320 10.2.2 反向傳播算法 322 10.2.3 標(biāo)準(zhǔn)化特征值 324 10.2.4 丟棄正則化 324 10.2.5 代碼實(shí)例 325 10.3 多類別神經(jīng)網(wǎng)絡(luò) 340 10.3.1 一對(duì)多方法 340 10.3.2 Softmax 341 10.3.3 代碼實(shí)例 343 10.4 嵌套 357 10.4.1 協(xié)同過(guò)濾 358 10.4.2 稀疏數(shù)據(jù) 359 10.4.3 獲取嵌套 360 10.4.4 代碼實(shí)例 360 第11章 知識(shí)圖譜 372 11.1 什么是知識(shí)圖譜 372 11.1.1 知識(shí)圖譜的定義 373 11.1.2 知識(shí)圖譜的架構(gòu) 373 11.1.3 開(kāi)放知識(shí)圖譜 374 11.1.4 知識(shí)圖譜在行業(yè)數(shù)據(jù)分析中的應(yīng)用 376 11.2 知識(shí)圖譜構(gòu)建的關(guān)鍵技術(shù) 377 11.2.1 知識(shí)提取 378 11.2.2 語(yǔ)義類抽取 379 11.2.3 屬性和屬性值抽取 381 11.2.4 關(guān)系抽取 382 11.2.5 知識(shí)表示 382 11.2.6 知識(shí)融合 383 11.3 知識(shí)計(jì)算及應(yīng)用 384 11.4 企業(yè)知識(shí)圖譜建設(shè) 384 第12章 數(shù)據(jù)挖掘 387 12.1 什么是數(shù)據(jù)挖掘 387 12.1.1 數(shù)據(jù)挖掘技術(shù)產(chǎn)生的背景 387 12.1.2 數(shù)據(jù)挖掘與數(shù)據(jù)分析的區(qū)別 387 12.2 數(shù)據(jù)挖掘技術(shù)（方法） 388 12.2.1 分類 388 12.2.2 聚類 389 12.2.3 回歸分析 389 12.2.4 關(guān)聯(lián)規(guī)則 389 12.2.5 神經(jīng)網(wǎng)絡(luò)方法 390 12.2.6 Web數(shù)據(jù)挖掘 390 12.2.7 特征分析 390 12.2.8 偏差分析 391 12.3 大數(shù)據(jù)思維 391 12.3.1 信度與效度思維 391 12.3.2 分類思維 391 12.3.3 漏斗思維 392 12.3.4 邏輯樹(shù)思維 392 12.3.5 時(shí)間序列思維 393 12.3.6 指數(shù)化思維 393 12.3.7 循環(huán)／閉環(huán)思維 394 第13章 銀行業(yè)大數(shù)據(jù)和人工智能 395 13.1 四大行的進(jìn)展 396 13.1.1 建設(shè)銀行 396 13.1.2 工商銀行 396 13.1.3 農(nóng)業(yè)銀行 398 13.1.4 中國(guó)銀行 398 13.2 其他銀行 399 13.2.1 廣發(fā)銀行 399 13.2.2 江蘇銀行 400 13.3 金融宏觀大數(shù)據(jù)分析 404 13.4 小結(jié) 407 13.4.1 大數(shù)據(jù)給銀行帶來(lái)的機(jī)遇與挑戰(zhàn) 407 13.4.2 銀行大數(shù)據(jù)體系建設(shè)的思考 409 第14章 醫(yī)療大數(shù)據(jù)和人工智能 412 14.1 醫(yī)療大數(shù)據(jù)的特點(diǎn) 412 14.2 醫(yī)療大數(shù)據(jù)處理模型 413 14.3 醫(yī)療大數(shù)據(jù)的AI應(yīng)用 416 14.3.1 智能輔助診療 416 14.3.2 影像數(shù)據(jù)分析與影像智能診斷 416 14.3.3 合理用藥 416 14.3.4 遠(yuǎn)程監(jiān)控 417 14.3.5 精準(zhǔn)醫(yī)療 417 14.3.6 成本與療效分析 417 14.3.7 績(jī)效管理 417 14.3.8 醫(yī)院控費(fèi) 417 14.3.9 醫(yī)療質(zhì)量分析 418 14.4 人工智能的醫(yī)療應(yīng)用場(chǎng)景 418 14.5 人工智能要當(dāng)“醫(yī)生” 420 14.6 醫(yī)院大數(shù)據(jù) 421 14.7 機(jī)器學(xué)習(xí)在醫(yī)療行業(yè)中的應(yīng)用實(shí)例分析 422 第15章 公安大數(shù)據(jù)和人工智能 424 15.1 公安大數(shù)據(jù)的特點(diǎn) 424 15.2 建設(shè)流程 425 15.3 公安大數(shù)據(jù)管理平臺(tái) 426 15.3.1 公安大數(shù)據(jù)建模 427 15.3.2 公安大數(shù)據(jù)匯集 428 15.3.3 公安大數(shù)據(jù)服務(wù) 428 15.4 公安大數(shù)據(jù)挖掘分析 428 15.5 公安大數(shù)據(jù)AI應(yīng)用 429 15.6 小結(jié) 430 第16章 工農(nóng)業(yè)大數(shù)據(jù)和人工智能 431 16.1 中國(guó)制造2025 432 16.2 工業(yè)大數(shù)據(jù) 433 16.2.1 工業(yè)大數(shù)據(jù)面臨三大制約因素 433 16.2.2 工業(yè)大數(shù)據(jù)應(yīng)用的四大發(fā)展趨勢(shì) 434 16.2.3 發(fā)展工業(yè)大數(shù)據(jù) 434 16.3 AI+制造 435 16.4 農(nóng)業(yè)大數(shù)據(jù) 435 16.4.1 發(fā)展現(xiàn)狀 435 16.4.2 農(nóng)業(yè)大數(shù)據(jù)目標(biāo) 435 16.4.3 農(nóng)業(yè)大數(shù)據(jù)建設(shè)任務(wù) 436 16.4.4 農(nóng)產(chǎn)品質(zhì)量安全追溯 437 附錄 A 國(guó)內(nèi)人工智能企業(yè)名單 438 附錄 B 大數(shù)據(jù)和人工智能網(wǎng)上資料 441 附錄 C 本書中采用的人工智能中英文術(shù)語(yǔ) 444 附錄 D 術(shù)語(yǔ)列表 446