第1章 緒 論…………………………………………………………………………………… 1 1.1 模式識別的基本概念…………………………………………………………………… 1 1.1.1 模式與模式識別的概念…………………………………………………………… 1 1.1.2 模式的特征………………………………………………………………………… 1 1.1.3 模式識別系統……………………………………………………………………… 2 1.2 模式識別的主要方法…………………………………………………………………… 2 1.3 模式識別的主要研究內容……………………………………………………………… 3 1.4 模式識別在科學研究中的應用………………………………………………………… 3 1.4.1 化合物的構效分析………………………………………………………………… 3 1.4.2 譜圖解析…………………………………………………………………………… 4 1.4.3 材料研究…………………………………………………………………………… 4 1.4.4 催化劑研究………………………………………………………………………… 5 1.4.5 機械故障診斷與監測……………………………………………………………… 5 1.4.6 化學物質源產地判斷……………………………………………………………… 6 1.4.7 疾病的診斷與預測………………………………………………………………… 6 1.4.8 礦藏勘探…………………………………………………………………………… 7 1.4.9 考古及食品工業中的應用………………………………………………………… 7 第2章 統計模式識別技術……………………………………………………………………… 8 2.1 基于概率統計的貝葉斯分類方法……………………………………………………… 8 2.1.1 *小錯誤率貝葉斯分類…………………………………………………………… 9 2.1.2 *小風險率貝葉斯分類…………………………………………………………… 10 2.2 線性分類器……………………………………………………………………………… 12 2.2.1 線性判別函數……………………………………………………………………… 12 2.2.2 Fisher線性判別函數……………………………………………………………… 13 2.2.3 感知器算法………………………………………………………………………… 14 2.3 非線性分類器…………………………………………………………………………… '315 2.3.1 分段線性判別函數………………………………………………………………… 15 2.3.2 近鄰法……………………………………………………………………………… 17 2.3.3 勢函數法…………………………………………………………………………… 19 2.3.4 SIMCA 方法……………………………………………………………………… 20 2.4 聚類分析………………………………………………………………………………… 22 2.4.1 模式相似度………………………………………………………………………… 22 2.4.2 聚類準則…………………………………………………………………………… 24 2.4.3 層次聚類法………………………………………………………………………… 25 2.4.4 動態聚類法………………………………………………………………………… 25 2.4.5 決策樹分類器……………………………………………………………………… 28 2.5 統計模式識別在科學研究中的應用…………………………………………………… 29 第3章 人工神經網絡及模式識別…………………………………………………………… 43 3.1 人工神經網絡的基本概念……………………………………………………………… 43 3.1.1 人工神經元………………………………………………………………………… 43 3.1.2 傳遞函數…………………………………………………………………………… 43 3.1.3 人工神經網絡分類和特點………………………………………………………… 44 3.2 BP人工神經網絡……………………………………………………………………… 44 3.2.1 BP人工神經網絡學習算法……………………………………………………… 44 3.2.2 BP人工神經網絡MATLAB實現……………………………………………… 46 3.3 徑向基函數神經網絡RBF …………………………………………………………… 47 3.3.1 RBF的結構與學習算法…………………………………………………………… 47 3.3.2 RBF的MATLAB實現…………………………………………………………… 48 3.4 自組織競爭人工神經網絡……………………………………………………………… 48 3.4.1 自組織競爭人工神經網絡的基本概念…………………………………………… 48 3.4.2 自組織競爭神經網絡的學習算法………………………………………………… 49 3.4.3 自組織競爭網絡的MATLAB實現……………………………………………… 49 3.5 對向傳播神經網絡CPN ……………………………………………………………… 50 3.5.1 CPN 的基本概念………………………………………………………………… 50 3.5.2 CPN 網絡的學習算法…………………………………………………………… 50 3.6 反饋型神經網絡Hopfield …………………………………………………………… 51 3.6.1 Hopfield網絡的基本概念………………………………………………………… 51 3.6.2 Hopfield網絡的學習算法………………………………………………………… 52 3.6.3 Hopfield網絡的MATLAB實現………………………………………………… 53 3.7 人工神經網絡技術在科學研究中的應用……………………………………………… 53 第4章 模糊系統理論及模式識別…………………………………………………………… 72 4.1 模糊系統理論基礎……………………………………………………………………… 72 4.1.1 模糊集合…………………………………………………………………………… 72 4.1.2 模糊關系…………………………………………………………………………… 75 4.1.3 模糊變換與模糊綜合評判………………………………………………………… 77 4.1.4 If…then規則……………………………………………………………………… 78 4.1.5 模糊推理…………………………………………………………………………… 78 4.2 模糊模式識別的基本方法……………………………………………………………… 79 4.2.1 *大隸屬度原則…………………………………………………………………… 79 4.2.2 擇近原則…………………………………………………………………………… 79 4.2.3 模糊聚類分析……………………………………………………………………… 81 4.3 模糊神經網絡…………………………………………………………………………… 85 4.3.1 模糊神經網絡……………………………………………………………………… 85 4.3.2 模糊BP神經網絡………………………………………………………………… 86 4.4 模糊邏輯系統及其在科學研究中的應用……………………………………………… 86 第5章 核函數方法及應用…………………………………………………………………… 107 5.1 核函數方法…………………………………………………………………………… 107 5.2 基于核的主成分分析方法…………………………………………………………… 108 5.2.1 主成分分析……………………………………………………………………… 108 5.2.2 基于核的主成分分析…………………………………………………………… 110 5.3 基于核的Fisher判別方法…………………………………………………………… 112 5.3.1 Fisher判別方法………………………………………………………………… 112 5.3.2 基于核的Fisher判別方法分析………………………………………………… 113 5.4 基于核的投影尋蹤方法……………………………………………………………… 114 5.4.1 投影尋蹤分析…………………………………………………………………… 114 5.4.2 基于核的投影尋蹤分析………………………………………………………… 118 5.5 核函數方法在科學研究中的應用…………………………………………………… 119 第6章 支持向量機及其模式識別…………………………………………………………… 130 6.1 統計學習理論基本內容……………………………………………………………… 130 6.2 支持向量機…………………………………………………………………………… 131 6.2.1 *優分類面……………………………………………………………………… 131 6.2.2 支持向量機模型………………………………………………………………… 132 6.3 支持向量機在模式識別中的應用…………………………………………………… 134 第7章 可拓學及其模式識別………………………………………………………………… 142 7.1 可拓學概論…………………………………………………………………………… 142 7.1.1 可拓工程基本思想……………………………………………………………… 142 7.1.2 可拓工程使用的基本工具……………………………………………………… 143 7.2 可拓集合……………………………………………………………………………… 145 7.2.1 可拓集合含義…………………………………………………………………… 145 7.2.2 物元可拓集合…………………………………………………………………… 146 7.3 可拓聚類預測的物元模型…………………………………………………………… '3146 7.4 可拓學在科學研究中的應用………………………………………………………… 147 第8章 粗糙集理論及其模式識別…………………………………………………………… 154 8.1 粗糙集理論基礎……………………………………………………………………… 154 8.1.1 分類規則的形成………………………………………………………………… 156 8.1.2 知識的約簡……………………………………………………………………… 157 8.2 粗糙神經網絡………………………………………………………………………… 158 8.3 系統評估粗糙集方法………………………………………………………………… 158 8.3.1 模型結構………………………………………………………………………… 159 8.3.2 綜合評估方法…………………………………………………………………… 159 8.4 粗糙集聚類方法……………………………………………………………………… 160 8.5 粗糙集理論在科學研究中的應用…………………………………………………… 161 第9章 遺傳算法及其模式識別……………………………………………………………… 170 9.1 遺傳算法的基本原理………………………………………………………………… 170 9.2 遺傳算法分析………………………………………………………………………… 173 9.2.1 染色體的編碼…………………………………………………………………… 173 9.2.2 適應度函數……………………………………………………………………… 174 9.2.3 遺傳算子………………………………………………………………………… 175 9.3 控制參數的選擇……………………………………………………………………… 177 9.4 模擬退火算法………………………………………………………………………… 178 9.4.1 模擬退火的基本概念…………………………………………………………… 178 9.4.2 模擬退火算法的基本過程……………………………………………………… 179 9.4.3 模擬退火算法中的控制參數…………………………………………………… 180 9.5 基于遺傳算法的模式識別在科學研究中的應用…………………………………… 180 9.5.1 遺傳算法的MATLAB實現…………………………………………………… 180 9.5.2 遺傳算法在科學研究中的應用實例…………………………………………… 185 第10章 蟻群算法及其模式識別…………………………………………………………… 201 10.1 蟻群算法原理………………………………………………………………………… 201 10.1.1 基本概念………………………………………………………………………… 201 10.1.2 蟻群算法的基本模型…………………………………………………………… 202 10.1.3 蟻群算法的特點………………………………………………………………… 203 10.2 蟻群算法的改進……………………………………………………………………… 203 10.2.1 自適應蟻群算法………………………………………………………………… 203 10.2.2 遺傳算法與蟻群算法的融合…………………………………………………… 204 10.2.3 蟻群神經網絡…………………………………………………………………… 204 10.3 聚類問題的蟻群算法………………………………………………………………… 205 10.3.1 聚類數目已知的聚類問題的蟻群算法………………………………………… 205 10.3.2 聚類數目未知的聚類問題的蟻群算法………………………………………… 206 10.4 蟻群算法在科學研究中的應用……………………………………………………… 207 第11章 粒子群算法及其模式識別………………………………………………………… 217 11.1 粒子群算法的基本原理……………………………………………………………… 217 11.2 全局模式與局部模式………………………………………………………………… 218 11.3 粒子群算法的特點…………………………………………………………………… 218 11.4 基于粒子群算法的聚類分析………………………………………………………… 219 11.4.1 算法描述………………………………………………………………………… 219 11.4.2 實現步驟………………………………………………………………………… 220 11.5 粒子群算法在科學研究中的應用…………………………………………………… 221 第12章 可視化模式識別技術……………………………………………………………… 229 12.1 高維數據的圖形表示方法…………………………………………………………… 229 12.1.1 輪廓圖…………………………………………………………………………… 229 12.1.2 雷達圖…………………………………………………………………………… 230 12.1.3 樹形圖…………………………………………………………………………… 230 12.1.4 三角多項式圖…………………………………………………………………… 231 12.1.5 散點圖…………………………………………………………………………… 231 12.1.6 星座圖…………………………………………………………………………… 232 12.1.7 臉譜圖…………………………………………………………………………… 233 12.2 圖形特征參數計算…………………………………………………………………… 235 12.3 顯示方法……………………………………………………………………………… 237 12.3.1 線性映射………………………………………………………………………… 237 12.3.2 非線性映射……………………………………………………………………… 237 第13章 灰色系統方法及應用……………………………………………………………… 241 13.1 灰色系統的基本概念………………………………………………………………… 241 13.1.1 灰 數…………………………………………………………………………… 241 13.1.2 灰數白化與灰度………………………………………………………………… 242 13.2 灰色序列生成算子…………………………………………………………………… 242 13.2.1 均值生成算子…………………………………………………………………… 242 13.2.2 累加生成算子…………………………………………………………………… 243 13.2.3 累減生成算子…………………………………………………………………… 243 13.3 灰色分析……………………………………………………………………………… 244 13.3.1 灰色關聯度分析………………………………………………………………… 244 13.3.2 無量綱化的關鍵算子…………………………………………………………… 244 13.3.3 關聯分析的主要步驟…………………………………………………………… 245 13.3.4 其他幾種灰色關聯度…………………………………………………………… 246 13.4 灰色聚類……………………………………………………………………………… 247 13.5 灰色系統建模………………………………………………………………………… 247 13.5.1 GM(1,1)模型…………………………………………………………………… 247 13.5.2 GM(1,1)模型檢驗……………………………………………………………… 248 13.5.3 殘差GM(1,1)模型…………………………………………………………… 250 13.5.4 GM(1,N )模型………………………………………………………………… 250 13.6 灰色災變預測………………………………………………………………………… 251 13.7 灰色系統的應用……………………………………………………………………… 252 第14章 人工魚群等群體智能算法………………………………………………………… 258 14.1 人工魚群算法………………………………………………………………………… 259 14.1.1 魚群模式的提出………………………………………………………………… 259 14.1.2 人工魚的四種基本行為算法描述……………………………………………… 259 14.1.3 人工魚群算法概述……………………………………………………………… 261 14.1.4 各種參數對算法收斂性能的影響……………………………………………… 263 14.1.5 人工魚群算法在科學研究中的應用…………………………………………… 264 14.2 人工免疫算法………………………………………………………………………… 270 14.2.1 人工免疫算法的生物學基礎…………………………………………………… 270 14.2.2 人工免疫優化算法概述………………………………………………………… 272 14.2.3 人工免疫算法與遺傳算法的比較……………………………………………… 276 14.2.4 人工免疫算法在科學研究中的應用…………………………………………… 277 14.3 進化計算……………………………………………………………………………… 281 14.3.1 進化規劃算法…………………………………………………………………… 283 14.3.2 進化策略算法…………………………………………………………………… 284 14.3.3 進化計算在科學研究中的應用………………………………………………… 286 14.4 混合蛙跳算法………………………………………………………………………… 291 14.4.1 基本原理………………………………………………………………………… 291 14.4.2 基本術語………………………………………………………………………… 291 14.4.3 算法的基本流程及算子………………………………………………………… 292 14.4.4 算法控制參數的選擇…………………………………………………………… 294 14.4.5 混合蛙跳算法在科學研究中的應用…………………………………………… 294 14.5 貓群算法……………………………………………………………………………… 296 14.5.1 基本術語………………………………………………………………………… 296 14.5.2 基本流程………………………………………………………………………… 297 14.5.3 控制參數選擇…………………………………………………………………… 299 14.5.4 貓群算法在科學研究中的應用………………………………………………… 299 14.6 細菌覓食算法………………………………………………………………………… 300 14.6.1 細菌覓食算法基本原理………………………………………………………… 301 14.6.2 算法主要步驟與流程…………………………………………………………… 303 14.6.3 算法參數選取…………………………………………………………………… 304 14.6.4 細菌覓食算法在科學研究中的應用…………………………………………… 306 14.7 人工蜂群算法………………………………………………………………………… 307 14.7.1 人工蜂群算法的基本原理……………………………………………………… 308 14.7.2 人工蜂群算法的流程…………………………………………………………… 309 14.7.3 控制參數選擇…………………………………………………………………… 311 14.7.4 人工蜂群算法在科學研究中的應用…………………………………………… 311 14.8 量子遺傳算法………………………………………………………………………… 312 14.8.1 量子計算的基礎知識…………………………………………………………… 312 14.8.2 量子計算………………………………………………………………………… 313 14.8.3 量子遺傳算法流程……………………………………………………………… 316 14.8.4 控制參數………………………………………………………………………… 318 14.8.5 量子遺傳算法在科學研究中的應用…………………………………………… 320 14.9 Memetic算法………………………………………………………………………… 321 14.9.1 Memetic算法的構成要素……………………………………………………… 321 14.9.2 Memetic算法的基本流程……………………………………………………… 322 14.9.3 控制參數選擇…………………………………………………………………… 322 14.9.4 Memetic算法在科學研究中的應用…………………………………………… 323 第15章 仿生模式識別……………………………………………………………………… 328 15.1 仿生模式識別基本理論……………………………………………………………… 328 15.1.1 仿生模式識別的連續性規律…………………………………………………… 328 15.1.2 多自由度神經元………………………………………………………………… 329 15.2 仿生模式識別的數學工具…………………………………………………………… 331 15.2.1 高維空間幾何分析基本概念…………………………………………………… 332 15.2.2 高維空間中點、線、超平面的關系……………………………………………… 333 15.2.3 高維空間幾何覆蓋理論………………………………………………………… 334 15.3 仿生模式識別的實現方式…………………………………………………………… 335 15.3.1 高維空間復雜幾何形體覆蓋…………………………………………………… 335 15.3.2 多權值神經元的構造…………………………………………………………… 338 15.4 仿生模式識別與傳統模式識別的區別……………………………………………… 338 15.4.1 認知理論的差別………………………………………………………………… 338 15.4.2 數學模式的差異………………………………………………………………… 339 15.5 仿生模式識別在科學研究中的應用………………………………………………… 340 第16章 模式識別的特征及確定…………………………………………………………… 348 16.1 基本概念……………………………………………………………………………… 348 16.1.1 特征的特點……………………………………………………………………… 348 16.1.2 特征的類別……………………………………………………………………… 348 16.1.3 特征的形成……………………………………………………………………… 352 16.1.4 特征選擇與提取………………………………………………………………… 353 16.2 樣本特征的初步分析………………………………………………………………… 353 16.3 特征篩選處理………………………………………………………………………… 357 16.4 特征提取……………………………………………………………………………… 357 16.4.1 特征提取的依據………………………………………………………………… 357 16.4.2 特征提取的方法………………………………………………………………… 359 16.5 基于K L變換的特征提取………………………………………………………… 362 16.5.1 離散K L變換………………………………………………………………… 362 16.5.2 離散K L變換的特征提取…………………………………………………… 363 16.5.3 吸收類均值向量信息的特征提取……………………………………………… 363 16.5.4 利用總體熵吸收方差信息的特征提取………………………………………… 364 16.6 因子分析………………………………………………………………………………3365 16.6.1 因子分析的一般數學模型……………………………………………………… 365 16.6.2 Q 型和R型因子分析…………………………………………………………… 366 參考文獻………………………………………………………………………………………… 372