**部分 經典模式識別 第1章 模式識別概述 3 1.1 模式識別的基本概念 3 1.2 模式識別系統 5 1.2.1 信息獲取 5 1.2.2 數據處理 5 1.2.3 特征選擇和提取 6 1.2.4 分類識別和分類決策 6 1.2.5 模式識別系統實例 7 1.3 模式識別的歷史與現狀 10 1.4 模式識別方法 11 1.4.1 模板匹配 11 1.4.2 統計模式識別 11 1.4.3 結構句法模式識別 12 1.4.4 模糊模式識別方法 12 1.4.5 人工神經網絡方法 13 1.5 模式識別應用領域 14 1.5.1 文本識別 14 1.5.2 語音識別 14 1.5.3 指紋識別 15 1.5.4 視頻識別 15 習題 16 參考文獻 16 第2章 貝葉斯決策 17 2.1 *小錯誤率貝葉斯決策 17 2.2 *小風險貝葉斯決策 21 2.3 判別函數和決策面 23 2.4 正態分布下的貝葉斯決策 26 2.4.1 正態分布概率密度函數的定義 26 2.4.2 多元正態概率型下的貝葉斯 分類器 28 習題 32 參考文獻 32 第3章 線性和非線性判別分析 33 3.1 Fisher線性判別分析 33 3.2 感知器準則 36 3.2.1 基本概念 36 3.2.2 感知準則函數及其學習方法 37 3.3 廣義線性判別分析 39 3.4 k近鄰 40 3.4.1 k近鄰算法簡介 40 3.4.2 k近鄰算法模型 41 3.4.3 k近鄰算法中距離度量 41 3.4.4 k近鄰算法中k值的選擇 41 3.4.5 k近鄰算法分類決策規則 42 3.5 決策樹 42 3.5.1 問題集 43 3.5.2 決策樹分支準則 43 3.5.3 停止分支準則 44 3.5.4 類分配規則 44 3.5.5 過擬合與決策樹的剪枝 45 習題 46 參考文獻 46 第4章 無監督模式識別 47 4.1 高斯混合模型 47 4.1.1 單高斯模型 48 4.1.2 高斯混合模型 48 4.1.3 EM算法求解高斯混合模型 50 4.2 動態聚類算法 51 4.2.1 K均值算法 52 4.2.2 模糊聚類算法 55 4.3 層次聚類算法 57 4.3.1 自上而下的算法 58 4.3.2 自下而上的算法 59 習題 62 參考文獻 62 第5章 特征選擇 63 5.1 基本概念 63 5.2 類別可分離性判據 64 5.2.1 基于距離的可分離性判據 64 5.2.2 基于概率分布的可分離性判據 66 5.2.3 基于熵的可分性判據 68 5.2.4 基于*小冗余*大相關性判據 69 5.3 特征子集的選擇 70 5.3.1 單獨*優特征選擇 70 5.3.2 順序后向選擇 71 5.3.3 順序前向選擇 72 5.3.4 增l減r選擇 72 5.3.5 浮動搜索 73 5.3.6 分支定界搜索 74 5.4 基于隨機搜索的特征選擇 75 習題 77 參考文獻 77 第6章 特征提取 78 6.1 主成分分析 78 6.2 核主成分分析 80 6.3 線性判別分析 81 6.4 多維縮放 83 6.5 流形學習 84 6.5.1 等度量映射 85 6.5.2 局部線性嵌入 86 習題 88 參考文獻 88 第7章 經典人工神經網絡 89 7.1 人工神經網絡 89 7.1.1 神經元結構 90 7.1.2 感知器 93 7.1.3 反向傳播 95 7.2 常見神經網絡 98 7.2.1 SOM網絡 98 7.2.2 RBF網絡 99 7.2.3 BP神經網絡 100 7.2.4 Hopfield網絡 101 習題 102 參考文獻 103 第二部分 現代模式識別 第8章 支持向量機 107 8.1 基本概念 107 8.1.1 間隔的概念 107 8.1.2 *大間隔分離超平面 110 8.2 線性可分支持向量機的學習 110 8.2.1 線性可分支持向量機學習算法 110 8.2.2 線性可分支持向量機的對偶 學習 111 8.3 線性支持向量機的學習 113 8.4 非線性支持向量機的學習 115 8.4.1 核函數的定義 116 8.4.2 核函數有效性判定 116 8.4.3 常用的核函數 117 8.4.4 非線性支持向量機的學習 118 8.5 SMO算法 118 習題 123 參考文獻 124 第9章 組合分類器 125 9.1 組合分類概述 125 9.1.1 個體與組合間的關系 125 9.1.2 分類器組合評價 126 9.2 Bagging算法 127 9.2.1 Bagging 127 9.2.2 隨機森林 130 9.3 Boosting算法 130 9.4 XGBoost算法 135 習題 141 參考文獻 142 第10章 半監督學習 143 10.1 什么是半監督學習 143 10.2 半監督分類 145 10.2.1 生成式模型 146 10.2.2 半監督支持向量機 147 10.2.3 基于圖的半監督學習 149 10.2.4 基于分歧的方法 150 10.3 半監督聚類 152 習題 153 參考文獻 153 第三部分 深度學習模式識別 第11章 深度神經網絡 157 11.1 深度堆棧自編碼網絡 157 11.1.1 自編碼網絡 157 11.1.2 深度堆棧網絡 158 11.2 受限玻爾茲曼機與深度置信網絡 159 11.2.1 受限玻爾茲曼機 159 11.2.2 深度置信網絡 160 11.3 卷積神經網絡 161 11.3.1 卷積神經網絡概述 161 11.3.2 卷積操作介紹與感受野的 計算 163 11.3.3 深度卷積神經網絡結構的 發展 166 11.4 深度循環神經網絡 171 11.4.1 循環神經元 172 11.4.2 RNN網絡 173 11.4.3 LSTM網絡 176 11.4.4 循環網絡應用 180 11.5 生成對抗網絡 181 11.5.1 概述 181 11.5.2 基本思想 181 11.5.3 基本模型及訓練過程 182 11.5.4 GAN的優缺點及變體 183 11.5.5 GAN的應用 185 習題 185 參考文獻 186 第12章 強化學習 187 12.1 強化學習簡介 187 12.2 強化學習的數學基礎 188 12.2.1 馬爾可夫決策過程 189 12.2.2 狀態值函數與狀態動作值 函數 190 12.3 強化學習算法 192 12.3.1 基于模型的動態規劃方法 193 12.3.2 基于無模型的強化學習方法 194 12.3.3 基于策略梯度的強化學習 方法 197 12.3.4 深度強化學習 198 習題 200 參考文獻 201 第13章 寬度學習 202 13.1 寬度學習提出背景 202 13.2 寬度學習系統簡介與隨機向量函數 鏈接神經網絡 203 13.2.1 隨機向量函數鏈接神經網絡與 寬度學習系統 203 13.2.2 嶺回歸算法 204 13.2.3 函數鏈接神經網絡的動態逐步 更新算法 204 13.3 寬度學習基本模型 205 13.3.1 寬度學習基本模型 205 13.3.2 BLS增量形式 207 13.4 寬度學習的優勢特性 209 習題 210 參考文獻 210 第14章 圖卷積神經網絡 211 14.1 圖卷積理論基礎 211 14.2 圖卷積推導 213 14.2.1 卷積提取圖特征 213 14.2.2 GCN推導 214 14.3 圖卷積應用 217 14.3.1 自適應圖卷積網絡簡介 217 14.3.2 基于時空圖卷積網絡的 骨架識別 220 習題 222 參考文獻 222 第15章 語音、文本、圖像與視頻模式 識別 224 15.1 基于SVM的手寫體數字識別 技術 224 15.1.1 手寫體數字識別背景 224 15.1.2 手寫體數字識別流程 225 15.1.3 手寫體數字識別算法 225 15.1.4 基于SVM的手寫體數字 識別 230 15.2 基于BP 神經網絡的圖像識別 技術 232 15.2.1 圖像識別背景 232 15.2.2 圖像識別基本原理 232 15.2.3 BP神經網絡的設計 233 15.2.4 基于BP神經網絡的圖像 識別 234 15.3 基于高斯混合模型的說話人識別 技術 238 15.3.1 說話人識別背景 238 15.3.2 說話人識別的基本流程 238 15.3.3 基于高斯混合模型的說話人 識別 240 15.4 基于VGG19的視頻行人檢測 技術 240 15.4.1 視頻檢測背景 240 15.4.2 視頻行人檢測流程 240 習題 244 參考文獻 244