第1章 大數(shù)據(jù)概論
1.1 大數(shù)據(jù)概述
1.2 大數(shù)據(jù)的行業(yè)應(yīng)用
1.3 大數(shù)據(jù)的基本概念
1.4 本章小結(jié)
1.5 課后習(xí)題
第2章 初識(shí)Hadoop
2.1 Hadoop簡介
2.2 Hadoop生態(tài)圈介紹
2.3 本章小結(jié)
2.4 課后習(xí)題
第3章 Linux基礎(chǔ)
3.1 Linux簡介
3.2 Linux文件管理常用命令、Shell編程
3.2.1 Linux文件基礎(chǔ)知識(shí)
3.2.2 Shell編程基礎(chǔ)
3.2.3 Shell流程控制
3.3 本章小結(jié)
3.4 課后習(xí)題
第4章 Hadoop集群的搭建
4.1 Hadoop集群搭建前的準(zhǔn)備
4.1.1 安裝虛擬機(jī)軟件
4.1.2 Hadoop集群規(guī)劃
4.1.3 在虛擬機(jī)軟件中安裝Linux操作系統(tǒng)
4.1.4 配置Linux系統(tǒng)網(wǎng)絡(luò)
4.1.5 SSH服務(wù)設(shè)置
4.2 Hadoop集群搭建
4.2.1 JDK安裝
4.2.2 Hadoop安裝
4.2.3 Hadoop集群配置
4.3 Hadoop集群啟動(dòng)
4.3.1 文件系統(tǒng)格式化
4.3.2 啟動(dòng)和關(guān)閉Hadoop集群
4.3.3 查看Hadoop集群運(yùn)行狀態(tài)
4.4 Hadoop集群使用
4.5 本章小結(jié)
4.6 課后練習(xí)
第5章 HDFS分布式文件系統(tǒng)
5.1 HDFS簡介
5.1.1 HDFS演變
5.1.2 HDFS的基本概念
5.1.3 HDFS的特點(diǎn)
5.2 HDFS的讀寫
5.2.1 HDFS存儲(chǔ)架構(gòu)
5.2.2 HDFS文件讀寫原理
5.3 HDFS Shell操作
5.3.1 HDFS的Shell操作
5.3.2 案例——Shell定時(shí)采集數(shù)據(jù)到HDFS
5.4 HDFS Java API操作
5.4.1 HDFS Java API介紹
5.4.2 HDFS Java API案例
5.5 本章小結(jié)
5.6 課后習(xí)題
第6章 MapReduce分布式計(jì)算框架
6.1 MapReduce概述
6.2 .MapRedlace編程模型
6.2.1 MapReduce工作流程
6.2.2 MapTask工作原理
6.2.3 ReduceTask工作原理
6.3 MapReduce案例解析
6.3.1 單詞統(tǒng)計(jì)
6.3.2 倒排索引(InvertedIndex)
6.3.3 數(shù)據(jù)去重(dedup)
6.4 本章小結(jié)
6.5 課后習(xí)題
第7章 項(xiàng)目實(shí)戰(zhàn)——某國新冠肺炎疫情COVID-19分析
7.1 項(xiàng)目說明
7.1.1 MapRedlice PartItiion機(jī)制
7.1.2 MapRedlice Combiner規(guī)約
7.1.3 MapReduce編程技巧
7.1.4 數(shù)據(jù)字段說明
7.2 MapReduce自定義組件
7.2.1 初始化項(xiàng)目
7.2.2 自定義對象序列化
7.2.3 自定義排序
7.2.4 自定義分區(qū)
7.2.5 自定義分組
7.2.6 自定義分組拓展Top N
7.3 MapReduce運(yùn)行模式
7.3.1 本地運(yùn)行
7.3.2 打包發(fā)布運(yùn)行
參考文獻(xiàn)