工作任務1

初識Hadoop　1

任務概述　1

學習目標　1

任務1.1　了解大數據　1

【知識鏈接】　1

1.1.1　什么是大數據　1

1.1.2　大數據的特征　2

1.1.3　研究大數據的意義　3

任務1.2　了解大數據的應用場景　4

【知識鏈接】　4

1.2.1　醫療行業的應用　4

1.2.2　金融行業的應用　5

1.2.3　零售行業的應用　5

任務1.3　了解Hadoop　6

【知識鏈接】　6

1.3.1　Hadoop的發展歷程　6

1.3.2　Hadoop的優勢　7

1.3.3　Hadoop的生態體系　8

1.3.4　Hadoop的版本　10

任務小結　12

課后習題　12

相關閱讀—“第七次全國人口普查”中的

大數據技術應用　13



工作任務2

搭建Hadoop集群　14

任務概述　14

學習目標　14

預備知識—集群和虛擬機　14

任務2.1　安裝虛擬機　16

【任務描述】　16

【知識鏈接】　16

2.1.1　VMware軟件　16

2.1.2　Linux操作系統　16

2.1.3　Hadoop集群　17

【任務實施】　17

任務2.2　克隆虛擬機　23

【任務描述】　23

【知識鏈接】　23

2.2.1　克隆和備份的區別　23

2.2.2　VMware的克隆類型　24

【任務實施】　24

任務2.3　網絡配置　25

【任務描述】　25

【知識鏈接】　26

【任務實施】　26

任務2.4　SSH服務配置　29

【任務描述】　29

【知識鏈接】　29

【任務實施】　29

任務2.5　Hadoop集群搭建　32

【任務描述】　32

【知識鏈接】　32

【任務實施】　32

任務小結　37

課后習題　38

相關閱讀—名副其實的“網絡大國”　39

工作任務3

數據上傳　40

任務概述　40

學習目標　40

預備知識—HDFS概述　40

任務3.1　使用Shell命令將電影數據上傳

到Hadoop　42

【任務描述】　42

【知識鏈接】　42

3.1.1　HDFS架構組成　42

3.1.2　HDFS的Shell操作　43

【任務實施】　45

任務3.2　使用Java API上傳電影數據　46

【任務描述】　46

【知識鏈接】　46

3.2.1　HDFS寫數據流程　46

3.2.2　HDFS讀數據流程　47

3.2.3　NameNode和Secondary

NameNode工作機制　47

3.2.4　DataNode工作機制　49

【任務實施】　49

任務小結　51

課后習題　51

相關閱讀—根服務器　52



工作任務4

配置Hadoop高可用　53

任務概述　53

學習目標　53

預備知識—服務器的可用性和高可用性　53

任務4.1　配置ZooKeeper集群　54

【任務描述】　54

【知識鏈接】　54

4.1.1　Hadoop中的單點故障　54

4.1.2　ZooKeeper組件　54

【任務實施】　55

任務4.2　配置HDFS-HA集群　57

【任務描述】　57

【知識鏈接】　57

【任務實施】　58

任務4.3　配置HDFS-HA集群自動故障

轉移　61

【任務描述】　61

【知識鏈接】　61

4.3.1　自動故障轉移機制概述　61

4.3.2　ZKFC　62

【任務實施】　63

任務小結　64

課后習題　65

相關閱讀—航天裝備的高可用　65



工作任務5

數據清洗　66

任務概述　66

學習目標　66

預備知識—數據清洗概述　66

任務5.1　清洗電影數據　67

【任務描述】　67

【知識鏈接】　67

5.1.1　MapReduce組件　67

5.1.2　MapReduce編程思想　68

5.1.3　Hadoop序列化　70

【任務實施】　71

任務5.2　數據分區　78

【任務描述】　78

【知識鏈接】　78

5.2.1　切片與MapTask并行度決定

機制　78

5.2.2　MapReduce工作流程　79

【任務實施】　81

任務小結　82

課后習題　82

相關閱讀—深度學習開源平臺飛槳　83



工作任務6

使用MapReduce統計電影上映情況與排序　84

任務概述　84

學習目標　84

預備知識—數據統計概述　84

任務6.1　統計每部電影上映的次數　85

【任務描述】　85

【任務實施】　85

任務6.2　統計每部電影的上映天數和平均

票房　88

【任務描述】　88

【任務實施】　88

任務6.3　按平均票房降序排列　90

【任務描述】　90

【任務實施】　91

任務小結　94

課后習題　94

相關閱讀—許寶?J，中國統計學家的

先驅　94



工作任務7

數據建倉　96

任務概述　96

學習目標　96

預備知識—數據庫與數據倉庫　96

任務7.1　安裝與配置Hive　97

【任務描述】　97

【知識鏈接】　97

7.1.1　Hive概述　97

7.1.2　Hive和數據庫比較　98

7.1.3　Hive架構原理　99

【任務實施】　101

任務7.2　將元數據遷移到MySQL　101

【任務描述】　101

【任務實施】　102

任務7.3　使用Hive進行數據建倉　104

【任務描述】　104

【知識鏈接】　104

7.3.1　HQL的數據類型　104

7.3.2　HQL的數據定義語言　106

7.3.3　HQL的數據操作語言　109

【任務實施】　110

任務小結　111

課后習題　111

相關閱讀—數據庫泄露　111



工作任務8

數據分析　112

任務概述　112

學習目標　112

預備知識—數據分析概述　112

任務8.1　查詢某年全年電影數據　113

【任務描述】　113

【知識鏈接】　113

8.1.1　Hive數據導出　113

8.1.2　Hive查詢　113

【任務實施】　120

任務8.2　統計周平均票房　121

【任務描述】　121

【知識鏈接】　121

【任務實施】　121

任務8.3　統計北京和上海某年一季度票房

收入　122

【任務描述】　122

【任務實施】　122

任務小結　127

課后習題　127

相關閱讀—誠信意識　127



工作任務9

數據遷移　128

任務概述　128

學習目標　128

預備知識—數據遷移概述　128

任務9.1　安裝和配置Sqoop　129

【任務描述】　129

【知識鏈接】　129

【任務實施】　130

任務9.2　遷移清洗后的電影數據　131

【任務描述】　131

【知識鏈接】　131

9.2.1　導入數據　131

9.2.2　導出數據　133

【任務實施】　133

任務9.3　遷移日平均票房數據　134

【任務描述】　134

【任務實施】　134

任務9.4　遷移周平均票房數據　135

【任務描述】　135

【任務實施】　135

任務9.5　遷移北京和上海某年一季度票房

數據　136

【任務描述】　136

【任務實施】　136

任務小結　137

課后習題　137

相關閱讀—刪庫事件　138



工作任務10

數據可視化　139

任務概述　139

學習目標　139

預備知識—數據可視化概述　139

任務10.1　使用Spring Boot搭建Web

系統　140

【任務描述】　140

【任務實施】　140

任務10.2　顯示全部電影數據　143

【任務描述】　143

【任務實施】　144

任務10.3　使用柱狀圖顯示電影的日平均

票房　146

【任務描述】　146

【任務實施】　146

任務10.4　使用餅圖顯示電影的周平均

票房　150

【任務描述】　150

【任務實施】　150

任務10.5　使用折線圖顯示北京和上海

某年一季度電影票房走勢　153

【任務描述】　153

【任務實施】　153

任務小結　157

課后習題　157

相關閱讀—中華人民共和國2022年國民

經濟和社會發展統計公報　158