項目1 大數據平臺部署前的環境準備 1 任務1 大數據技術及應用 3 任務描述 3 知識準備 3 一、大數據簡介 3 二、大數據的特征 3 三、大數據相關概念 5 四、大數據的典型應用 5 任務實施 通過思維導圖展示大數據 技術的應用 6 任務2 獲取Hadoop資源 7 任務描述 7 知識準備 7 一、Hadoop的起源 7 二、Hadoop的特點 8 三、Hadoop生態圈 8 四、Hadoop版本演變 9 五、常見Hadoop的發行版本 11 任務實施 通過Hadoop官網下載Hadoop 軟件 11 能力拓展 Hadoop部署前的環境配置 12 項目小結 24 課后習題 24 項目2 部署Hadoop集群 26 任務1 部署單機模式Hadoop 28 任務描述 28 知識準備 28 一、Hadoop的安裝方式 28 二、安裝JDK 28 任務實施 安裝單機模式Hadoop 30 任務2 部署偽分布模式Hadoop 33 任務描述 33 知識準備 33 一、Hadoop集群 33 二、Hadoop目錄介紹 33 任務實施 部署偽分布模式Hadoop 34 能力拓展 部署Hadoop集群 40 項目小結 49 課后習題 49 項目3 采集數據到HDFS 51 任務1 通過Shell采集數據到HDFS 52 任務描述 52 知識準備 53 一、HDFS簡介 53 二、HDFS的優勢 53 三、HDFS的局限性 53 四、HDFS的架構 54 五、HDFS的工作機制 57 六、HDFS的容錯 59 七、訪問HDFS 60 任務實施 通過Shell命令采集數據到 HDFS 62 任務2 通過Java API采集數據到HDFS 68 任務描述 68 知識準備 69 一、文件讀取 69 二、文件寫入 69 三、安裝Java開發環境 70 任務實施 通過Java API 采集數據到 HDFS 75 能力拓展 通過數據流采集數據到HDFS 80 項目小結 82 課后習題 82 項目4 部署HDFS的HA集群 85 任務1 安裝ZooKeeper服務 87 任務描述 87 知識準備 87 一、ZooKeeper簡介 87 二、ZooKeeper的特性 88 三、ZooKeeper的工作原理 88 四、ZooKeeper的工作模式 89 五、ZooKeeper的角色 89 任務實施 安裝ZooKeeper服務 90 任務2 訪問ZooKeeper服務 94 任務描述 94 知識準備 94 一、讀寫機制 94 二、數據模型 94 三、監聽通知機制 95 四、典型應用場景 95 任務實施 訪問ZooKeeper服務 96 任務3 部署HDFS的高可用集群 99 任務描述 99 知識準備 100 一、HDFS HA機制 100 二、HDFS Federation機制 102 任務實施 部署HDFS的HA集群 103 項目小結 114 課后習題 114 項目5 部署YARN的HA集群 116 任務1 部署YARN集群 118 任務描述 118 知識準備 118 一、YARN產生背景 118 二、YARN的優點 120 三、YARN的組成及架構 120 四、YARN工作流程 122 五、YARN容錯性 123 任務實施 部署YARN集群 123 任務2 部署YARN的高可用集群 125 任務描述 125 知識準備 125 一、YARN HA機制 125 二、RM的狀態存儲 126 任務實施 部署YARN的HA集群 127 項目小結 133 課后習題 133 項目6 MapReduce應用 135 任務 MapReduce Java API編程 136 任務描述 136 知識準備 137 一、MapReduce核心思想 137 二、MapReduce工作流程 138 三、MapReduce API編程 142 任務實施 利用WordCount統計單詞數 147 能力拓展 用MapReduce實現平均成績的 計算 151 項目小結 156 課后習題 157 項目7 部署開源數據庫HBase 162 任務1 部署HBase服務 164 任務描述 164 知識準備 164 一、HBase概述 164 二、HBase數據模型 165 三、HBase功能組件 167 四、HBase運行機制 170 任務實施 安裝部署HBase 172 任務2 訪問HBase服務 175 任務描述 175 知識準備 175 一、HBase常用Shell命令 175 二、HBase Java API的應用 177 三、HBase過濾器 178 任務實施 HBase Java API編程實踐 180 能力拓展 創建自定義過濾器 186 項目小結 189 課后習題 190 項目8 部署數據倉庫Hive 192 任務1 部署Hive服務 194 任務描述 194 知識準備 194 一、Hive概述 194 二、Hive的系統架構 195 三、Hive HA的基本原理 197 四、Hive的工作原理 197 五、Hive的安裝模式 199 任務實施 部署Hive的相關工具 200 任務2 訪問Hive服務 203 任務描述 203 知識準備 203 一、Hive的管理 203 二、Hive的數據模型 204 三、Hive的數據類型 205 四、Hive的基本操作 206 任務實施 通過Hive實現WordCount 211 能力拓展 Hive實現分組排序 211 項目小結 216 課后習題 217 項目9 利用Flume監聽數據 219 任務1 監聽端口數據并輸出到Flume 控制臺 221 任務描述 221 知識準備 221 一、Flume簡介 221 二、Flume Event的概念 221 三、Flume的優勢和特征 222 四、Flume的環境搭建 223 五、Flume三大組件 223 任務實施 監聽端口數據并輸出到 Flume控制臺 227 任務2 監聽Hive日志文件并輸出到Flume 控制臺 230 任務描述 230 知識準備 230 一、Exec Source 230 二、HDFS Sink 231 三、Hive Sink 232 任務實施 監聽Hive日志文件并輸出到 Flume控制臺 233 能力拓展 Flume監聽Hive日志文件并 輸出到HDFS 237 項目小結 242 課后習題 242 項目10 Sqoop實現數據傳輸 244 任務1 數據從MySQL導入HDFS 246 任務描述 246 知識準備 246 一、Sqoop簡介 246 二、Sqoop的環境搭建 247 三、Sqoop的常用命令 249 四、Sqoop import命令的常用參數 249 任務實施 數據從MySQL導入HDFS 250 任務2 數據從HDFS導出到MySQL 257 ?任務描述 257 知識準備 257 Sqoop export命令的常用參數 258 任務實施 數據從HDFS導出到MySQL 258 能力拓展 用Sqoop將HDFS數據導出到 MySQL數據表指定的列 264 項目小結 268 課后習題 268 項目11 Ambari部署Hadoop集群 270 任務 Ambari的安裝 271 任務描述 271 知識準備 272 一、Ambari簡介 272 二、Ambari的作用 272 三、Ambari的架構及工作流程 272 四、軟件下載 275 任務實施 利用Ambari部署、管理Hadoop 集群 277 能力拓展 在Ambari中啟用HDFS的HA 293 項目小結 297 課后習題 298 項目12 大數據的未來 299 任務 大數據的未來 300 任務描述 300 知識準備 301 一、醫療領域 301 二、智慧城市領域 302 三、教育領域 303 四、人工智能領域 304 五、大數據與5G通信 305 項目小結 306 課后習題 306 參考文獻 308