第 1章 開發環境配置1

1.1 Python 3的安裝1

1.1.1 相關鏈接1

1.1.2 Windows下的安裝1

1.1.3 Linux下的安裝6

1.1.4 Mac下的安裝8

1.2 請求庫的安裝10

1.2.1 requests的安裝10

1.2.2 Selenium的安裝11

1.2.3 ChromeDriver的安裝12

1.2.4 GeckoDriver的安裝15

1.2.5 PhantomJS的安裝17

1.2.6 aiohttp的安裝18

1.3 解析庫的安裝19

1.3.1 lxml的安裝19

1.3.2 Beautiful Soup的安裝21

1.3.3 pyquery的安裝22

1.3.4 tesserocr的安裝22

1.4 數據庫的安裝26

1.4.1 MySQL的安裝27

1.4.2 MongoDB安裝29

1.4.3 Redis的安裝36

1.5 存儲庫的安裝39

1.5.1 PyMySQL的安裝39

1.5.2 PyMongo的安裝39

1.5.3 redis-py的安裝40

1.5.4 RedisDump的安裝40

1.6 Web庫的安裝41

1.6.1 Flask的安裝41

1.6.2 Tornado的安裝42

1.7 App爬取相關庫的安裝43

1.7.1 Charles的安裝44

1.7.2 mitmproxy的安裝50

1.7.3 Appium的安裝55

1.8 爬蟲框架的安裝59

1.8.1 pyspider的安裝59

1.8.2 Scrapy的安裝61

1.8.3 Scrapy-Splash的安裝65

1.8.4 Scrapy-Redis的安裝66

1.9 部署相關庫的安裝67

1.9.1 Docker的安裝67

1.9.2 Scrapyd的安裝71

1.9.3 Scrapyd-Client的安裝74

1.9.4 Scrapyd API的安裝75

1.9.5 Scrapyrt的安裝75

1.9.6 Gerapy的安裝76

第 2章 爬蟲基礎77

2.1 HTTP基本原理77

2.1.1 URI和URL77

2.1.2 超文本78

2.1.3 HTTP和HTTPS78

2.1.4 HTTP請求過程80

2.1.5 請求82

2.1.6 響應84

2.2 網頁基礎87

2.2.1 網頁的組成87

2.2.2 網頁的結構88

2.2.3 節點樹及節點間的關系90

2.2.4 選擇器91

2.3 爬蟲的基本原理93

2.3.1 爬蟲概述93

2.3.2 能抓怎樣的數據94

2.3.3 JavaScript渲染頁面94

2.4 會話和Cookies95

2.4.1 靜態網頁和動態網頁95

2.4.2 無狀態HTTP96

2.4.3 常見誤區98

2.4.4 參考資料99

2.5 代理的基本原理99

2.5.1 基本原理99

2.5.2 代理的作用99

2.5.3 爬蟲代理100

2.5.4 代理分類100

2.5.5 常見代理設置101

2.5.6 參考來源101

第3章 基本庫的使用102

3.1 使用urllib102

3.1.1 發送請求102

3.1.2 處理異常112

3.1.3 解析鏈接114

3.1.4 分析Robots協議119

3.2 使用requests122

3.2.1 基本用法122

3.2.2 高級用法130

3.3 正則表達式139

3.4 抓取貓眼電影排行150

第4章 解析庫的使用158

4.1 使用XPath158

4.2 使用Beautiful Soup168

4.3 使用pyquery184

第5章 數據存儲197

5.1 文件存儲197

5.1.1 TXT文本存儲197

5.1.2 JSON文件存儲199

5.1.3 CSV文件存儲203

5.2 關系型數據庫存儲207

5.3 非關系型數據庫存儲213

5.3.1 MongoDB存儲214

5.3.2 Redis存儲221

第6章 Ajax數據爬取232

6.1 什么是Ajax232

6.2 Ajax分析方法234

6.3 Ajax結果提取238

6.4 分析Ajax爬取今日頭條街拍美圖242

第7章 動態渲染頁面爬取249

7.1 Selenium249

7.2 Splash262

7.3 Splash負載均衡配置286

7.4 使用Selenium爬取淘寶商品289

第8章 驗證碼的識別298

8.1 圖形驗證碼的識別298

8.1.1 本節目標299

8.1.2 準備工作299

8.1.3 獲取驗證碼299

8.1.4 識別測試299

8.1.5 驗證碼處理299

8.1.6 本節代碼301

8.1.7 結語301

8.2 極驗滑動驗證碼的識別301

8.3 點觸驗證碼的識別311

8.4 微博宮格驗證碼的識別318

第9章 代理的使用326

9.1 代理的設置326

9.2 代理池的維護333

9.3 付費代理的使用347

9.4 ADSL撥號代理351

9.5 使用代理爬取微信公眾號文章364

第 10章 模擬登錄379

10.1 模擬登錄并爬取GitHub379

10.2 Cookies池的搭建385

第 11章 App的爬取398

11.1 Charles的使用398

11.2 mitmproxy的使用405

11.3 mitmdump爬取“得到”App電子書

信息417

11.4 Appium的基本使用423

11.5 Appium爬取微信朋友圈433

11.6 Appium mitmdump爬取京東商品437

第 12章 pyspider框架的使用443

12.1 pyspider框架介紹443

12.2 pyspider的基本使用445

12.3 pyspider用法詳解459

第 13章 Scrapy框架的使用468

13.1 Scrapy框架介紹468

13.2 Scrapy入門470

13.3 Selector的用法480

13.4 Spider的用法486

13.5 Downloader Middleware的用法487

13.6 Spider Middleware的用法494

13.7 Item Pipeline的用法496

13.8 Scrapy對接Selenium506

13.9 Scrapy對接Splash511

13.10 Scrapy通用爬蟲516

13.11 Scrapyrt的使用533

13.12 Scrapy對接Docker536

13.13 Scrapy爬取新浪微博541

第 14章 分布式爬蟲555

14.1 分布式爬蟲原理555

14.2 Scrapy-Redis源碼解析558

14.3 Scrapy分布式實現564

14.4 Bloom Filter的對接569

第 15章 分布式爬蟲的部署577

15.1 Scrapyd分布式部署577

15.2 Scrapyd-Client的使用582

15.3 Scrapyd對接Docker583

15.4 Scrapyd批量部署586

15.5 Gerapy分布式管理590