目錄


第1章 掃描器基礎 1
1.1 什么是Web掃描器 1
1.2 掃描器的重要性 2
1.3 掃描器的類型 3
1.4 常見的掃描器（掃描器的示例） 4
1.5 掃描器評測 8
1.6 漏洞測試平臺 9
1.7 掃描環境部署 9
1.7.1 測試環境 9
1.7.2 開發環境 12
第2章 Web爬蟲基礎 19
2.1 什么是Web爬蟲 19
2.2 瀏覽器手工爬取過程 19
2.3 URL 21
2.4 超級鏈接 22
2.5 HTTP協議（Request/Response） 23
2.5.1 HTTP請求 23
2.5.2 HTTP響應 24
2.6 HTTP認證 25
2.6.1 Basic認證（基本式） 26
2.6.2 Digest認證（摘要式） 27
2.7 HEAD方法 29
2.8 Cookie機制 29
2.9 DNS本地緩存 31
2.9.1 瀏覽器緩存 31
2.9.2 系統緩存 32
2.10 頁面解析 33
2.11 爬蟲策略 34
2.11.1 廣度優先策略 34
2.11.2 深度優先策略 34
2.11.3 *佳優先策略（聚焦爬蟲策略） 35
2.12 頁面跳轉 35
2.12.1 客戶端跳轉 36
2.12.2 服務端跳轉 37
2.13 識別404錯誤頁面 38
2.14 URL重復/URL相似/URL包含 39
2.14.1 URL重復 39
2.14.2 URL相似 39
2.14.3 URL包含 39
2.15 區分URL的意義 40
2.16 URL去重 40
2.16.1 布隆過濾器（Bloom Filter） 41
2.16.2 哈希表去重 41
2.17 頁面相似算法 42
2.17.1 編輯距離（Levenshtein Distance） 42
2.17.2 Simhash 43
2.18 斷連重試 43
2.19 動態鏈接與靜態鏈接 43
第3章 Web爬蟲進階 44
3.1 Web爬蟲的工作原理 44
3.2 實現URL封裝 45
3.3 實現HTTP請求和響應 47
3.4 實現頁面解析 58
3.4.1 HTML解析庫 58
3.4.2 URL提取 59
3.4.3 自動填表 66
3.5 URL去重去似 67
3.5.1 URL去重 67
3.5.2 URL去似去含 73
3.6 實現404頁面識別 75
3.7 實現斷連重試 77
3.8 實現Web爬蟲 78
3.9 實現Web 2.0爬蟲 83
第4章 應用指紋識別 94
4.1 應用指紋種類及識別 94
4.2 應用指紋識別的價值 95
4.3 應用指紋識別技術 96
第5章 安全漏洞審計 102
5.1 安全漏洞審計三部曲 102
5.2 通用型漏洞審計 103
5.2.1 SQL注入漏洞 103
5.2.2 XSS跨站漏洞 111
5.2.3 命令執行注入 120
5.2.4 文件包含漏洞 129
5.2.5 敏感文件泄露 136
5.3 Nday/0day漏洞審計 146
5.3.1 Discuz!7.2 faq.php SQL注入漏洞 147
5.3.2 Dedecms get webshell漏洞 150
5.3.3 Heartbleed漏洞（CVE-2014-0160） 153
5.3.4 PHP multipart/form-data遠程DDoS（CVE-2015-4024） 157
第6章 掃描器進階 160
6.1 掃描流程 160
6.2 軟件設計 163
6.3 功能模塊 164
6.4 軟件架構 165
6.5 數據結構 166
6.6 功能實現 167
6.6.1 IP/端口掃描和檢測（端口模塊） 167
6.6.2 端口破解模塊 170
6.6.3 子域名信息枚舉 172
6.6.4 文件、目錄暴力枚舉探測（不可視URL爬取） 175
6.6.5 掃描引擎 176
6.7 掃描報告 180
6.8 掃描測試 182
第7章 云掃描 185
7.1 什么是云掃描 185
7.2 云掃描架構 185
7.3 云掃描實踐 187
7.3.1 Celery框架 188
7.3.2 掃描器Worker部署 189
7.3.3 云端調度 193
7.4 云掃描服務 199
第8章 企業安全掃描實踐 202
8.1 企業為什么需要掃描 202
8.2 企業掃描的應用場景 202
8.2.1 基于網絡流量的掃描 202
8.2.2 基于訪問日志的掃描 208
8.2.3 掃描的應用場景比較 217
第9章 關于防御 218
9.1 爬蟲反制 218
9.1.1 基于IP的反爬蟲 218
9.1.2 基于爬行的反爬蟲 221
9.2 審計反制 223
9.2.1 云WAF 223
9.2.2 云WAF的價值 223
9.3 防御策略 225
附錄A 227

附錄B 229