第 一章 數據挖掘與R語言概述 7
1．1　什么是數據挖掘 ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ．　7
1．2　數據挖掘的基本流程 ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ．　7
1．2．1　應用背景 ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ．　7
1．2．2　數據收集 ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ．　8
1．2．3　數據準備 ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ．　8
1．2．4　建立模型 ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ．　8
1．2．5　模型評估與選擇 ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ．　9
1．2．6　模型監測與更新 ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ．　9
1．3　關于數據挖掘項目的三個基本問題 ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ．　9
1．3．1　建模數據集對預測數據集的代表性　10
1．3．2　自變量和因變量之間關系的因果性解釋　11
1．3．3　模型預測精度對于實際應用的價值　12
1．4　CRISP-DM數據挖掘方法論　12
1．5　SEMMA數據挖掘方法論　13
1．6　R語言及Rstudio簡介　15
第二章　數據理解　17
2．1　收集初始數據　17
2．2　描述數據　17
2．2．1　數據的精確含義　17
2．2．2　數據粒度　18
2．2．3　變量類型　18
2．2．4　冗余變量　19
2．2．5　缺省值　19
2．2．6　數據鏈接　19
3

4　目錄
2．3　檢查數據質量　19
2．3．1　抽樣偏差　19
2．3．2　數據取值錯誤　20
2．3．3　數據缺失情況　21
2．4　初步探索數據　22
2．5　R語言分析示例：數據理解　22
第三章　數據準備　33
3．1　數據整合　33
3．2　處理分類自變量　33
3．3　處理時間信息　34
3．4　清除變量　35
3．5　異常值　35
3．6　及值　36
3．7　處理缺失數據　37
3．8　過抽樣與欠抽樣　38
3．9　降維　38
3．9．1　變量選擇　38
3．9．2　主成分分析　39
3．10　R語言分析示例：數據整合　41
3．11　R語言分析示例：數據準備　47
第四章　關聯規則挖掘　59
4．1　關聯規則的基本概念及Apriori算法　59
4．1．1　關聯規則的基本概念　59
4．1．2　Apriori算法簡介　60
4．2　序列關聯規則挖掘　60
4．3　R語言分析示例：關聯規則挖掘　61
4．3．1　購物籃分析　61
4．3．2　泰坦尼克號存活情況分析　68
第五章　聚類分析　75
5．1　k均值聚類法　75
5．1．1　觀測之間的距離度量　75
5．1．2　k均值聚類法的具體步驟　76

目錄　5
5．1．3　關于k均值聚類法的一些點評　77
5．2　層次聚類法　78
5．2．1　層次聚類法的具體步驟　78
5．2．2　類別之間距離的度量　78
5．3　確定*優類別數　80
5．4　R語言分析示例：聚類　82
第六章　線性模型與廣義線性模型　93
6．1　線性模型　93
6．1．1　模型假設與估計　93
6．1．2　模型解釋　94
6．1．3　一些理論結果　94
6．1．4　模型診斷　95
6．2　廣義線性模型　98
6．2．1　廣義線性模型簡介　98
6．2．2　因變量為二值變量或比例的情形　99
6．2．3　因變量為多種取值的名義變量的情形　100
6．2．4　因變量為定序變量的情形　100
6．2．5　因變量為計數變量的情形　101
6．2．6　因變量為取值可正可負的連續變量的情形　101
6．2．7　因變量為非負連續變量的情形　101
6．3　線性模型與廣義線性模型中的變量選擇　101
6．3．1　逐步回歸　101
6．3．2　LASSO　102
6．4　R語言分析示例：線性模型與廣義線性模型　103
6．4．1　線性模型示例　103
6．4．2　邏輯回歸及Lasso示例：印第安女性糖尿病數據　107
6．4．3　邏輯回歸及Lasso示例：移動運營商數據　112
第七章　神經網絡的基本方法　119
7．1　神經元及神經網絡介紹　119
7．1．1　單個神經元　119
7．1．2　多層感知器架構　119
7．2　神經網絡模型訓練　119
7．2．1　誤差函數　119

6　目錄
7．2．2　神經網絡訓練算法　119
7．3　提高神經網絡模型的可推廣性　119
7．4　R語言分析示例：神經網絡　119
7．4．1　白葡萄酒數據　119
7．4．2　移動運營商數據　119
第八章　決策樹　121
8．1　決策樹簡介　121
8．2　決策樹的生長與修剪　121
8．2．1　一般過程　121
8．2．2　分類樹　121
8．2．3　回歸樹　121
8．3　對缺失數據的處理　121
8．4　變量選擇　121
8．5　決策樹的優缺點　121
8．6　R語言分析示例：決策樹　121
第九章　基千決策樹的模型組合　123
9．1　基于決策樹的Bagging方法　123
9．2　基于決策樹的Boosting方法　123
9．3　隨機森林　123
9．4　貝葉斯累加回歸樹(BART)　123
9．5　R語言分析示例：基于決策樹的模型組合　123
第十章　模型評估與比較　125
10．1　因變量為二分變量的情形　125
10．2　因變量為多分變量的情形　125
10．3　因變量為連續變量的情形　125
10．4　R語言分析示例：模型評估與比較　125
第十一章　R語言分析案例：Kaggle房價預測數據　127
11．1　數據介紹與業務理解　127
11．2　數據理解與數據準備　127
11．3　建?！?27
11．4　模型評估與比較　127
11．5　模型應用　12