目錄

配套資源下載

目錄

第1章大數據

1.1大數據概述

1.1.1大數據介紹

1.1.2大數據的特征

1.1.3大數據技術應用與基礎

1.2大數據的意義

1.2.1大數據的國家戰略意義

1.2.2大數據的企業意義

1.2.3我國大數據市場的預測

1.3大數據的產業鏈分析

1.3.1技術分析

1.3.2運營分析

1.4本章小結

1.5實訓

習題

第2章爬蟲與大數據

2.1爬蟲概述

2.1.1爬蟲介紹

2.1.2爬蟲的地位與作用

2.2Python介紹

2.2.1Python開發環境搭建

2.2.2編寫Python程序

2.2.3Python數據類型

2.3爬蟲相關知識

2.3.1了解網頁結構

2.3.2Python與爬蟲

2.3.3基礎爬蟲框架

2.4利用爬蟲抓取網頁內容

2.4.1觀察與分析頁面

2.4.2抓取過程分析

2.4.3獲取頁面內容

2.5本章小結

2.6實訓

習題

第3章Scrapy爬蟲

3.1Scrapy爬蟲概述

3.2Scrapy原理

3.2.1Scrapy框架的架構

3.2.2Request對象和Response對象

3.2.3Select對象

3.2.4Spider開發流程

3.3Scrapy的開發與實現

3.3.1Scrapy爬蟲開發流程

3.3.2創建Scrapy項目并查看結構

3.3.3編寫代碼并運行爬蟲

3.4本章小結

3.5實訓

習題

第4章數據庫連接與查詢

4.1數據庫

4.1.1數據庫概述

4.1.2關系數據庫設計

4.2MySQL數據庫

4.2.1MySQL數據庫概述

4.2.2MySQL數據庫下載、安裝與運行

4.2.3MySQL數據庫命令行入門

4.3使用Python操作MySQL數據庫

4.3.1pymysql安裝與使用

4.3.2Python連接MySQL數據庫

4.4本章小結

4.5實訓

習題

第5章數據可視化基礎與應用

5.1數據可視化

5.1.1數據可視化概述

5.1.2數據可視化工具

5.1.3數據可視化圖表

5.2matplotlib可視化基礎

5.2.1numpy庫

5.2.2matplotlib認識與安裝

5.2.3matplotlib測試

5.2.4matplotlib.pyplot庫

5.3matplotlib可視化繪圖

5.3.1繪制線性圖形

5.3.2繪制柱狀圖形

5.3.3繪制直方圖

5.3.4繪制散點圖

5.3.5繪制極坐標圖

5.3.6繪制餅圖

5.4pyecharts可視化應用

5.5本章小結

5.6實訓

習題

第6章大數據存儲與清洗

6.1大數據存儲

6.2數據清洗

6.2.1數據清洗概述

6.2.2數據清洗的原理

6.2.3數據清洗的流程

6.2.4數據清洗的工具

6.3數據標準化

6.3.1數據標準化的概念

6.3.2數據標準化的方法

6.3.3數據標準化的實例

6.4本章小結

6.5實訓

習題

第7章數據格式與編碼技術

7.1文件格式

7.2數據類型與編碼

7.2.1數據類型概述

7.2.2字符編碼

7.2.3數據轉換

7.3Kettle數據清洗與轉換工具的使用

7.3.1Kettle概述

7.3.2Kettle的安裝與使用

7.4CSV格式的數據轉換

7.4.1CSV格式概述

7.4.2CSV與JSON文件的轉換

7.5本章小結

7.6實訓