第1章 語音識別概述 1.1 走進語音識別 1.1.1 語音識別的定義 1.1.2 語音識別任務的分類 1.1.3 語音識別是一門交叉學科 1.1.4 語音識別的應用 1.2 發展概況 1.2.1 人工語音識別 1.2.2 自動化語音識別 1.3 面臨的挑戰 1.3.1 語音信號的復雜性 1.3.2 機器學習模型的局限性 1.3.3 硬件設備的制約 1.3.4 應用場景的復雜性 1.3.5 倫理問題 第2章 必知必會的數學基礎知識 2.1 向量與矩陣 2.1.1 向量 2.1.2 矩陣 2.2 概率與統計 2.2.1 概率基礎 2.2.2 分類分布 2.2.3 數據的標準模型——高斯分布 2.2.4 適用性極為廣泛的貝葉斯定理 2.3 基本函數的用法 2.3.1 一元一次函數 2.3.2 一元二次函數 2.3.3 神經網絡中不得不提的階躍函數 2.4 函數的求導 2.4.1 一元函數的導數 2.4.2 多元函數的偏導數 2.4.3 復合函數的導數計算法則 2.4.4 線性模型尋找*優參數的方法——*小二乘法 2.4.5 非線性模型求解*小值的方法——梯度下降法 2.4.6 適用于復雜模型的參數優化方法——正則化 2.5 數列和遞推公式 2.5.1 數列的定義 2.5.2 數列的通項公式 2.5.3 由遞推關系式定義數列 第3章 模式識別 3.1 模式識別的基本概念 3.1.1 我們應該怎樣理解模式識別 3.1.2 統計模式識別系統的組成 3.1.3 示例：一個橘子分類系統 3.1.4 模式識別發展史中的里程碑事件 3.2 關于數據集的準備 3.2.1 數據的收集 3.2.2 數據集的劃分 3.3 預處理 3.3.1 預處理的內涵 3.3.2 常見的預處理思路 3.4 特征提取 3.4.1 特征向量和特征空間 3.4.2 特征提取的流程 3.4.3 常見的語音特征表示 3.4.4 特征選擇 3.5 分類器 3.5.1 監督學習算法 3.5.2 統計分類器 3.5.3 深度神經網絡模型 3.6 語言模型 3.6.1 N-gram語言模型 3.6.2 實踐案例：計算“梅吃餅干”出現的概率 3.6.3 N-gram模型中平滑的重要性 3.7 識別效果的評價 3.7.1 錯詞率 3.7.2 句錯率 第4章 語音信號處理 4.1 導言 4.2 語音的產生 4.2.1 語音學在研究什么 4.2.2 人的發聲機制 4.2.3 語音產生的數字模型 4.2.4 發音的基本單位 4.2.5 識別連續發音的難點 4.3 語音的傳播 4.3.1 語音的物理傳播原理 4.3.2 語音傳播的聲學機制 4.3.3 無損聲道模型 4.4 語音的感知 4.4.1 人耳可感知的頻率范圍 4.4.2 人耳的聽覺特性 4.4.3 聽覺模型 4.5 數字語音信號處理 4.5.1 語音信號處理的一般流程 4.5.2 數據采樣 4.5.3 參數化分析 4.5.4 圖形化表示 4.5.5 數字化特征分析 第5章 實踐前的準備：安裝必要的Python包 5.1 一些必要的交代 5.2 基礎的語音識別包：speechRecognition 5.2.1 SpeechRecognition的主要接口 5.2.2 SpeechRecognition的安裝與導入 5.2.3 應用案例：調用不同接口識別英文和中文語音 5.3 語音分析庫：Librosa 5.3.1 Librosa的主要接口 5.3.2 Librosa的安裝與導入 5.3.3 應用案例：繪制語音信號的波形圖和Me1時頻譜圖 5.4 精于數組運算的庫：NumPy 5.4.1 Numpy的安裝與導入 5.4.2 Numpy數組的生成 5.4.3 訪問Numpy數組中的元素 5.4.4 Numpy數組的算術運算 5.5 科學計算的工具包：Scipy 5.5.1 Scipy的核心功能模塊 5.5.2 Scipy的安裝與導入 5.5.3 應用案例：*小二乘法擬合直線 5.6 機器學習算法的工具包：scikit-1earn 5.6.1 Sk1earn的主要接口 5.6.2 Sk1earn的安裝與導入 5.6.3 應用案例：鳶尾花的分類問題 5.7 工業級深度學習框架：Keras 5.7.1 Keras的主要接口 5.7.2 Keras的安裝與導入 5.7.3 應用案例：利用Keras搭建神經網絡實現手寫數字識別 5.8 科學研究深度學習框架：PyT0rch 5.8.1 PyTorch的主要庫和模塊 5.8.2 PyTorch的安裝 5.8.3 應用案例：利用PyT0rch搭建神經網絡實現手寫體識別 第6章 數據預處理 6.1 語音信號分析基礎 6.2 語音信號的參數化分析 6.2.1 時域分析 6.2.2 頻譜分析 6.2.3 倒譜分析 6.2.4 三種語音信號分析方法的比較 6.3 去噪算法 6.3.1 什么是去噪 6.3.2 譜減法 6.3.3 維納濾波算法 6.3.4 LMS自適應濾波器算法 6.3.5 基于機器學習的去噪算法 6.4 端點檢測算法 6.4.1 什么是端點檢測 6.4.2 基于短時平均能量和過零率的自適應雙門限算法 6.4.3 基于相關函數的端點檢測算法 6.4.4 基于倒譜距離的端點檢測算法 6.4.5 基于頻譜方差的端點檢測算法 第7章 特征提取算法 7.1 特征提取算法概述 7.1.1 特征提取算法的設計要求 7.1.2 特征提取算法的兩大陣營 7.2 基于時域變換的特征 7.2.1 短時振幅包絡 7.2.2 短時平均能量 7.2.3 過零率 7.2.4 示例：基于時域信號的特征提取 7.3 基于傅里葉變換的頻域特征 7.3.1 頻率中心 7.3.2 共振峰 7.4 基于倒譜變換的特征 7.4.1 線性預測倒譜系數 7.4.2 梅爾倒譜系數 7.4.3 示例：通過Librosa計算MFCC特征及衍生特征 7.5 基于神經網絡的特征圖 7.5.1 基于神經網絡的特征學習算法 7.5.2 示例：利用Resnet-50網絡結構生成特征圖 第8章 基于機器學習的分類算法 8.1 傳統機器學習分類算法簡介 8.2 基于有監督學習的分類算法 8.2.1 K鄰近算法 8.2.2 示例：KNN算法實現二分類 8.3 基于無監督學習的分類模型 8.3.1 Kmeans算法 8.3.2 示例：利用Kmeans算法對砂糖橘特征做聚類 8.3.3 高斯混合模型 8.3.4 示例：利用GMM實現二維特征的聚類 8.4 基于序列數據分類的隱馬爾可夫模型 8.4.1 HMM模型 8.4.2 示例：HMM在序列數據分類中的應用 8.5 適用于線性分類和非線性分類的算法 8.5.1 SVM算法 8.5.2 示例：基于SM0算法實現SVM分類器 第9章 基于深度學習的分類模型 9.1 深度學習技術簡介 9.2 卷積神經網絡模型 9.2.1 CNN的基本結構 9.2.2 示例：CNN實現數字手寫體圖片的分類 9.3 循環神經網絡 9.3.1 RNN的基本結構 9.3.2 示例：TextRNN對句子下一個詞語的預測 9.4 長短時記憶網絡 9.4.1 LSTM的基本原理 9.4.2 示例：LSTM預測余弦函數的趨勢 9.5 預訓練模型 9.5.1 預訓練的由來與意義 9.5.2 預訓練模型的三大核心技術 9.5.3 用于語音識別的WavML預訓練模型 第10章 搭建基于GMM-HMM模型的語音識別系統 10.1 動手前的分析 10.1.1 任務分析 10.1.2 流程設計 10.2 數據收集 10.2.1 數據集初探 10.2.2 數據集的處理 10.3 預處理：數據的頻域表示 10.4 特征提取：頻率峰值的計算 10.5 分類模型：GMM-HMM 10.6 結果分析與算法評價 10.6.1 測試效果的統計 10.6.2 分類結果的分析 第11章 搭建基于LSTM模型的語音分類系統 11.1 初期分析 11.1.1 目標和實現思想 11.1.2 基本處理流程 11.2 安裝必要的Python庫 11.3 讀取音頻文件和標簽 11.4 提取MFCC特征 11.5 構建雙向LSTM模型 11.6 模型的訓練 后記