譯者序前言符號表縮略語和首字母縮略詞表**部分 數學基礎第 1 章 引言與動機 21.1 尋找直觀的詞語 21.2 閱讀本書的兩種方法 3習題和反饋 6第 2 章 線性代數 72.1 線性方程組 92.2 矩陣122.2.1 矩陣加法與乘法 122.2.2 逆和轉置 15譯者序前言符號表縮略語和首字母縮略詞表**部分 數學基礎第 1 章 引言與動機 21.1 尋找直觀的詞語 21.2 閱讀本書的兩種方法 3習題和反饋 6第 2 章 線性代數 72.1 線性方程組 92.2 矩陣122.2.1 矩陣加法與乘法 122.2.2 逆和轉置 152.2.3 標量乘法 162.2.4 線性方程組的簡潔表示 172.3 解線性方程組 172.3.1 特解和通解 182.3.2 初等變換 192.3.3 -1 技巧 232.3.4 求解線性方程組的算法 252.4 向量空間 262.4.1 群 262.4.2 向量空間 272.4.3 向量子空間 292.5 線性無關 302.6 基與秩 342.6.1 生成集與基 342.6.2 秩 362.7 線性映射 372.7.1 線性映射的矩陣表示 392.7.2 基變換 422.7.3 象與核 472.8 仿射空間 492.8.1 仿射子空間 492.8.2 仿射映射 512.9 延伸閱讀 51習題 52第 3 章 解析幾何 603.1 范數613.2 內積623.2.1 點積 623.2.2 一般內積 623.2.3 對稱正定矩陣 633.3 長度和距離 643.4 角度和正交性 663.5 標準正交基 683.6 正交補 693.7 函數內積 703.8 正交投影 713.8.1 一維子空間 (線) 的投影 723.8.2 投影到一般子空間上 753.8.3 Gram - Schmidt 正交化 783.8.4 在仿射子空間上的投影 793.9 旋轉803.9.1 在 R2 上旋轉 813.9.2 在 R3 上旋轉 823.9.3 在 Rn 上旋轉 833.9.4 旋轉的性質 833.10 延伸閱讀 84習題 84第 4 章 矩陣分解 874.1 行列式和跡 884.2 特征值和特征向量 944.3 Cholesky 分解 1014.4 特征分解和對角化 1034.5 奇異值分解 1064.5.1 SVD 的幾何直觀 1074.5.2 SVD 的構造 1104.5.3 特征分解與奇異值分解 1144.6 矩陣近似 1164.7 矩陣發展史 1204.8 延伸閱讀 122習題 123第 5 章 向量微積分 1265.1 一元函數的微分 1285.1.1 泰勒級數 1295.1.2 求導法則 1325.2 偏微分和梯度 1335.2.1 偏微分的基本法則 1345.2.2 鏈式法則 1355.3 向量值函數的梯度 1365.4 矩陣梯度 1425.5 梯度計算中的常用等式 1455.6 反向傳播與自動微分 1465.6.1 深度網絡中的梯度 1465.6.2 自動微分 1485.7 高階導數 1515.8 線性化和多元泰勒級數 1525.9 延伸閱讀 157習題 157第 6 章 概率和分布 1606.1 概率空間的構造 1616.1.1 哲學問題 1616.1.2 概率與隨機變量 1626.1.3 統計 1646.2 離散概率和連續概率 1656.2.1 離散概率 1656.2.2 連續概率 1666.2.3 離散分布和連續分布的對比 1686.3 加法法則、乘法法則和貝葉斯定理.1696.4 概要統計量和獨立性 1726.4.1 均值與方差 1726.4.2 經驗均值與協方差 1766.4.3 方差的三種表達 1776.4.4 隨機變量的求和與變換 1786.4.5 統計獨立性 1796.4.6 隨機變量的內積 1806.5 高斯分布 1816.5.1 高斯分布的邊緣分布和條件分布是高斯分布 1836.5.2 高斯密度的乘積 1856.5.3 求和與線性變換 1856.5.4 多元高斯分布抽樣 1886.6 共軛與指數族 1886.6.1 共軛 1916.6.2 充分統計量 1936.6.3 指數族 1936.7 變量替換/逆變換 1966.7.1 分布函數技巧 1976.7.2 變量替換 1996.8 延伸閱讀 202習題 203第 7 章 連續優化 2067.1 使用梯度下降的優化 2087.1.1 步長 2107.1.2 動量梯度下降法 2117.1.3 隨機梯度下降 2117.2 約束優化和拉格朗日乘子 2137.3 凸優化 2167.3.1 線性規劃 2197.3.2 二次規劃 2217.3.3 Legendre-Fenchel變換和凸共軛 2227.4 延伸閱讀 225習題 226第二部分 機器學習的核心問題第 8 章 模型結合數據 2308.1 數據、模型與學習 2308.1.1 用向量表示數據 2318.1.2 模型的函數表示 2338.1.3 模型的概率分布表示 2348.1.4 學習即尋找參數 2358.2 經驗風險*小化 2368.2.1 函數的假設類別 2368.2.2 訓練數據的損失函數 2378.2.3 正則化以減少過擬合 2388.2.4 用交叉驗證評估泛化性能 2408.2.5 延伸閱讀 2418.3 參數估計 2418.3.1 *大似然估計 2418.3.2 *大后驗估計 2448.3.3 模型擬合 2458.3.4 延伸閱讀 2468.4 概率建模與推理 2478.4.1 概率模型 2478.4.2 貝葉斯推理 2488.4.3 隱變量模型 2498.4.4 延伸閱讀 2518.5 有向圖模型 2518.5.1 圖語義 2528.5.2 條件獨立和 d 分離 2548.5.3 延伸閱讀 2558.6 模型選擇 2558.6.1 嵌套交叉驗證 2568.6.2 貝葉斯模型選擇 2578.6.3 模型比較的貝葉斯因子 2598.6.4 延伸閱讀 260第 9 章 線性回歸 2619.1 界定問題 2629.2 參數估計 2649.2.1 *大似然估計 2649.2.2 線性回歸中的過擬合 2699.2.3 *大后驗估計 2719.2.4 作為正則化的 MAP 估計 2739.3 貝葉斯線性回歸 2749.3.1 模型 2759.3.2 先驗預測 2759.3.3 后驗分布 2779.3.4 后驗預測 2799.3.5 邊緣似然的計算 2819.4 *大似然作為正交投影 2839.5 延伸閱讀 285第 10 章 用主成分分析進行降維 28710.1 提出問題 28810.2 *大化方差.29010.2.1 具有*大方差的方向 29110.2.2 具有*大方差的M 維子空間 29210.3 投影視角 29510.3.1 背景和目標 29510.3.2 尋找*優坐標 29710.3.3 尋找主子空間的基 29910.4 特征向量計算和低秩逼近 30210.4.1 PCA 使用低秩矩陣近似 30310.4.2 實踐方面 30310.5 高維中的主成分分析 30410.6 主成分分析實踐中的關鍵步驟 30510.7 隱變量視角 30810.7.1 生成過程和概率模型 30910.7.2 似然函數和聯合分布 31010.7.3 后驗分布 31110.8 延伸閱讀 312第 11 章 高斯混合模型的密度估計 31611.1 高斯混合模型 31711.2 通過*大似然進行參數學習 31811.2.1 響應度 32011.2.2 更新均值 32111.2.3 更新協方差 32311.2.4 更新混合權重 32611.3 EM 算法 32811.4 隱變量視角 33111.4.1 生成過程與概率模型 33111.4.2 似然 33311.4.3 后驗分布 33411.4.4 擴展到完整數據集 33411.4.5 再探 EM 算法 33511.5 延伸閱讀 336第 12 章 用支持向量機進行分類 33812.1 分離超平面 34012.2 原始支持向量機 34112.2.1 間隔的概念 34212.2.2 間隔的傳統推導 34412.2.3 為什么可以設定間隔的長度為 1 34512.2.4 軟間隔 SVM:幾何觀點 34712.2.5 軟間隔 SVM: 損失函數觀點 34812.3 對偶支持向量機 35012.3.1 由拉格朗日乘子導出凸對偶 35112.3.2 對偶 SVM: 凸包觀點35312.4 核35512.5 數值解 35712.6 延伸閱讀 359參考文獻 361