第1章 初識(shí)hadoop 
1.1 數(shù)據(jù)！數(shù)據(jù)！ 
1.2 數(shù)據(jù)的存儲(chǔ)與分析 
1.3 相較于其他系統(tǒng)的優(yōu)勢(shì) 
1.3.1 關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng) 
1.3.2 網(wǎng)格計(jì)算 
1.3.3 志愿計(jì)算 
1.4 hadoop發(fā)展簡(jiǎn)史 
1.5 apache hadoop和hadoop生態(tài)系統(tǒng) 
1.6 hadoop的發(fā)行版本 
1.6.1 本書(shū)包含的內(nèi)容 
1.6.2 兼容性 

第2章 關(guān)于mapreduce 
2.1 氣象數(shù)據(jù)集 
2.2 使用unix工具來(lái)分析數(shù)據(jù) 
2.3 使用hadoop來(lái)分析數(shù)據(jù) 
2.3.1 map和reduce 
2.3.2 java mapreduce 
2.4 橫向擴(kuò)展 
2.4.1 數(shù)據(jù)流 
2.4.2 combiner函數(shù) 
2.4.3 運(yùn)行分布式的mapreduce作業(yè) 
2.5 hadoop streaming 
2.5.1 ruby版本 
2.5.2 python版本 
2.6 hadoop pipes 

第3章 hadoop分布式文件系統(tǒng) 
3.1 hdfs的設(shè)計(jì) 
3.2 hdfs的概念 
3.2.1 數(shù)據(jù)塊 
3.2.2 namenode和datanode 
3.2.3 聯(lián)邦hdfs 
3.2.4 hdfs的高可用性 
3.3 命令行接口 
3.4 hadoop文件系統(tǒng) 
3.5 java接口 
3.5.1 從hadoop url讀取數(shù)據(jù) 
3.5.2 通過(guò)filesystem api讀取數(shù)據(jù) 
3.5.3 寫(xiě)入數(shù)據(jù) 
3.5.4 目錄 
3.5.5 查詢文件系統(tǒng) 
3.5.6 刪除數(shù)據(jù) 
3.6 數(shù)據(jù)流 
3.6.1 剖析文件讀取 
3.6.2 剖析文件寫(xiě)入 
3.6.3 一致模型 
3.7 通過(guò)flume和sqoop導(dǎo)入數(shù)據(jù) 
3.8 通過(guò)distcp并行復(fù)制 
3.9 hadoop存檔 
3.9.1 使用hadoop存檔工具 
3.9.2 不足 

第4章 hadoop的i／o操作 
4.1 數(shù)據(jù)完整性 
4.1.1 hdfs的數(shù)據(jù)完整性 
4.1.2 localfilesystem 
4.1.3 checksumfilesystem 
4.2 壓縮 
4.2.1 codec 
4.2.2 壓縮和輸入分片 
4.2.3 在mapreduce中使用壓縮 
4.3 序列化 
4.3.1 writable接口 
4.3.2 writable類 
4.3.3 實(shí)現(xiàn)定制的writable集合 
4.3 序列化框架 
4.4 avro 
4.4.1 avro數(shù)據(jù)類型和模式 
4.4.2 內(nèi)存中的序列化和反序列化 
4.4.3 avro數(shù)據(jù)文件 
4.4.4 互操作性 
4.4.5 模式的解析 
4.4.6 排列順序 
4.4.7 關(guān)于avro mapreduce 
4.4.8 使用avro mapreduce進(jìn)行排序 
4.4.9 其他語(yǔ)言的avro mapreduce 
4.5 基于文件的數(shù)據(jù)結(jié)構(gòu) 
4.5.1 關(guān)于sequencefile 
4.5.2 關(guān)于mapfile 

第5章 mapreduce應(yīng)用開(kāi)發(fā) 
5.1 用于配置的api 
5.1.1 資源合并 
5.1.2 可變的擴(kuò)展 
5.2 配置開(kāi)發(fā)環(huán)境 
5.2.1 管理配置 
5.2.2 輔助類genericoptionsparser，tool和toolrunner 
5.3 用mrunit來(lái)寫(xiě)單元測(cè)試 
5.3.1 關(guān)于mapper 
5.3.2 關(guān)于reducer 
5.4 本地運(yùn)行測(cè)試數(shù)據(jù) 
5.4.1 在本地作業(yè)運(yùn)行器上運(yùn)行作業(yè) 
5.4.2 測(cè)試驅(qū)動(dòng)程序 
5.5 在集群上運(yùn)行 
5.5.1 打包作業(yè) 
5.5.2 啟動(dòng)作業(yè) 
5.5.3 mapreduce的web界面 
5.5.4 獲取結(jié)果 
5.5.5 作業(yè)調(diào)試 
5.5.6 hadoop日志 
5.5.7 遠(yuǎn)程調(diào)試 
5.6 作業(yè)調(diào)優(yōu) 
5.7 mapreduce的工作流 
5.7.1 將問(wèn)題分解成mapreduce作業(yè) 
5.7.2 關(guān)于jobcontrol 
5.7.3 關(guān)于apache oozie 

第6章 mapreduce的工作機(jī)制 
6.1 剖析mapreduce作業(yè)運(yùn)行機(jī)制 
6.1.1 經(jīng)典的mapreduce （mapreduce 1） 
6.1.2 yarn （mapreduce 2） 
6.2 失敗 
6.2.1 經(jīng)典mapreduce中的失敗 
6.2.2 yarn中的失敗 
6.3 作業(yè)的調(diào)度 
6.3.1 公平調(diào)度器 
6.3.2 容量調(diào)度器 
6.4 shuffle和排序 
6.4.1 map端 
6.4.2 reduce端 
6.4.3 配置調(diào)優(yōu) 
6.5 任務(wù)的執(zhí)行 
6.5.1 任務(wù)執(zhí)行環(huán)境 
6.5.2 推測(cè)執(zhí)行 
6.5.3 關(guān)于outputcommitters 
6.5.4 任務(wù)jvm重用 
6.5.5 跳過(guò)壞記錄 

第7章 mapreduce的類型與格式 
7.1 mapreduce的類型 
7.1.1 默認(rèn)的mapreduce作業(yè) 
7.1.2 默認(rèn)的streaming作業(yè) 
7.2 輸入格式 
7.2.1 輸入分片與記錄 
7.2.2 文本輸入 
7.2.3 二進(jìn)制輸入 
7.2.4 多個(gè)輸入 
7.2.5 數(shù)據(jù)庫(kù)輸入（和輸出） 
7.3 輸出格式 
7.3.1 文本輸出 
7.3.2 二進(jìn)制輸出 
7.3.3 多個(gè)輸出 
7.3.4 延遲輸出 
7.3.5 數(shù)據(jù)庫(kù)輸出 

第8章 mapreduce的特性 
8.1 計(jì)數(shù)器 
8.1.1 內(nèi)置計(jì)數(shù)器 
8.1.2 用戶定義的java計(jì)數(shù)器 
8.1.3 用戶定義的streaming計(jì)數(shù)器 
8.2 排序 
8.2.1 準(zhǔn)備 
8.2.2 部分排序 
8.2.3 全排序 
8.2.4 輔助排序 
8.3 連接 
8.3.1 map端連接 
8.3.2 reduce端連接 
8.4 邊數(shù)據(jù)分布 
8.4.1 利用jobconf來(lái)配置作業(yè) 
8.4.2 分布式緩存 
8.5 mapreduce庫(kù)類 

第9章 構(gòu)建hadoop集群 
9.1 集群規(guī)范 
9.2 集群的構(gòu)建和安裝 
9.2.1 安裝java 
9.2.2 創(chuàng)建hadoop用戶 
9.2.3 安裝hadoop 
9.2.4 測(cè)試安裝 
9.3 ssh配置 
9.4 hadoop配置 
9.4.1 配置管理 
9.4.2 環(huán)境設(shè)置 
9.4.3 hadoop守護(hù)進(jìn)程的關(guān)鍵屬性 
9.4.4 hadoop守護(hù)進(jìn)程的地址和端口 
9.4.5 hadoop的其他屬性 
9.4.6 創(chuàng)建用戶帳號(hào) 
9.5 yarn配置 
9.5.1 yarn守護(hù)進(jìn)程的重要屬性 
9.5.2 yarn守護(hù)進(jìn)程的地址和端口 
9.6 安全性 
9.6.1 kerberos和hadoop 
9.6.2 委托令牌 
9.6.3 其他安全性改進(jìn) 
9.7 利用基準(zhǔn)評(píng)測(cè)程序測(cè)試hadoop集群 
9.7.1 hadoop基準(zhǔn)評(píng)測(cè)程序 
9.7.2 用戶作業(yè) 
9.8 云端的hadoop 

第10章 管理hadoop 
10.1 hdfs 
10.1.1 永久性數(shù)據(jù)結(jié)構(gòu) 
10.1.2 安全模式 
10.1.3 日志審計(jì) 
10.1.4 工具 
10.2 監(jiān)控 
10.2.1 日志 
10.2.2 度量 
10.2.3 java管理擴(kuò)展（jmx） 
10.3 維護(hù) 
10.3.1 日常管理過(guò)程 
10.3.2 委任和解除節(jié)點(diǎn) 
10.3.3 升級(jí) 

第11章 關(guān)于pig 
11.1 安裝與運(yùn)行pig 
11.1.1 執(zhí)行類型 
11.1.2 運(yùn)行pig程序 
11.1.3 grunt 
11.1.4 pig latin編輯器 
11.2 示例 
11.3 與數(shù)據(jù)庫(kù)進(jìn)行比較 
11.4 pig latin 
11.4.1 結(jié)構(gòu) 
11.4.2 語(yǔ)句 
11.4.3 表達(dá)式 
11.4.4 類型 
11.4.5 模式 
11.4.6 函數(shù) 
11.4.7 宏 
11.5 用戶自定義函數(shù) 
11.5.1 過(guò)濾udf 
11.5.2 計(jì)算udf 
11.5.3 加載udf 
11.6 數(shù)據(jù)處理操作 
11.6.1 數(shù)據(jù)的加載和存儲(chǔ) 
11.6.2 數(shù)據(jù)的過(guò)濾 
11.6.3 數(shù)據(jù)的分組與連接 
11.6.4 數(shù)據(jù)的排序 
11.6.5 數(shù)據(jù)的組合和切分 
11.7 pig實(shí)戰(zhàn) 
11.7.1 并行處理 
11.7.2 參數(shù)代換 

第12章 關(guān)于hive 
12.1 安裝hive 
12.2 示例 
12.3 運(yùn)行hive 
12.3.1 配置hive 
12.3.2 hive服務(wù) 
12.3.3 metastore 
12.4 hive與傳統(tǒng)數(shù)據(jù)庫(kù)相比 
12.4.1 讀時(shí)模式vs.寫(xiě)時(shí)模式 
12.4.2 更新、事務(wù)和索引 
12.5 hiveql 
12.5.1 數(shù)據(jù)類型 
12.5.2 操作與函數(shù) 
12.6 表 
12.6.1 托管表和外部表 
12.6.2 分區(qū)和桶 
12.6.3 存儲(chǔ)格式 
12.6.4 導(dǎo)入數(shù)據(jù) 
12.6.5 表的修改 
12.6.6 表的丟棄 
12.7 查詢數(shù)據(jù) 
12.7.1 排序和聚集 
12.7.2 mapreduce腳本 
12.7.3 連接 
12.7.4 子查詢 
12.7.5 視圖 
12.8 用戶定義函數(shù) 
12.8.1 寫(xiě)udf 
12.8.2 寫(xiě)udaf 

第13章 關(guān)于hbase 
13.1 hbase基礎(chǔ) 
13.2 概念 
13.3.1 數(shù)據(jù)模型的“旋風(fēng)之旅” 
13.3.2 實(shí)現(xiàn) 
13.3 安裝 
13.4 客戶端 
13.4.1 java 
13.4.2 avro、rest和thrift 
13.5 示例 
13.5.1 模式 
13.5.2 加載數(shù)據(jù) 
13.5.3 web查詢 
13.6 hbase和rdbms的比較 
13.6.1 成功的服務(wù) 
13.6.2 hbase 
13.6.3 實(shí)例：hbase在streamy.com的使用 
13.7 praxis 
13.7.1 版本 
13.7.2 hdfs 
13.7.3 用戶界面 
13.7.4 度量 
13.7.5 模式的設(shè)計(jì) 
13.7.6 計(jì)數(shù)器 
13.7.7 批量加載 

第14章 關(guān)于zookeeper 
14.1 安裝和運(yùn)行zookeeper 
14.2 示例 
14.2.1 zookeeper中的組成員關(guān)系 
14.2.2 創(chuàng)建組 
14.2.3 加入組 
14.2.4 列出組成員 
14.2.5 刪除組 
14.3 zookeeper服務(wù) 
14.3.1 數(shù)據(jù)模型 
14.3.2 操作 
14.3.3 實(shí)現(xiàn) 
14.3.4 一致性 
14.3.5 會(huì)話 
14.3.6 狀態(tài) 
14.4 使用zookeeper來(lái)構(gòu)建應(yīng)用 
14.4.1 配置服務(wù) 
14.4.2 可復(fù)原的zookeeper應(yīng)用 
14.4.3 鎖服務(wù) 
14.4.4 更多分布式數(shù)據(jù)結(jié)構(gòu)和協(xié)議 
14.5 生產(chǎn)環(huán)境中的zookeeper 
14.5.1 可恢復(fù)性和性能 
14.5.2 配置 

第15章 關(guān)于sqoop 
15.1 獲取sqoop 
15.2 sqoop連接器 
15.3 一個(gè)導(dǎo)入的例子 
15.4 生成代碼 
15.5 深入了解數(shù)據(jù)庫(kù)導(dǎo)入 
15.5.1 導(dǎo)入控制 
15.5.2 導(dǎo)入和一致性 
15.5.3 直接模式導(dǎo)入 
15.6 使用導(dǎo)入的數(shù)據(jù) 
15.7 導(dǎo)入大對(duì)象 
15.8 執(zhí)行導(dǎo)出 
15.9 深入了解導(dǎo)出功能 
15.9.1 導(dǎo)出與事務(wù) 
15.9.2 導(dǎo)出和sequencefile 

第16章 實(shí)例學(xué)習(xí) 
16.1 hadoop 在last.fm的應(yīng)用 
16.1.1 last.fm：社會(huì)音樂(lè)史上的革命 
16.1.2 hadoop在last.fm中的應(yīng)用 
16.1.3 用hadoop制作圖表 
16.1.4 track statistics程序 
16.1.5 總結(jié) 
16.2 hadoop和hive在facebook的應(yīng)用 
16.2.1 hadoop在facebook的使用 
16.2.2 虛構(gòu)的使用樣例 
16.2.3 hive 
16.2.4 存在的問(wèn)題與未來(lái)工作計(jì)劃 
16.3 nutch搜索引擎 
16.3.1 背景介紹 
16.3.2 數(shù)據(jù)結(jié)構(gòu) 
16.3.3 nutch系統(tǒng)利用hadoop進(jìn)行數(shù)據(jù)處理的精選實(shí)例 
16.3.4 總結(jié) 
16.4 rackspace的日志處理 
16.4.1 要求／問(wèn)題 
16.4.2 簡(jiǎn)史 
16.4.3 選擇hadoop 
16.4.4 收集和存儲(chǔ) 
16.4.5 對(duì)日志的mapreduce處理 
16.5 關(guān)于cascading 
16.5.1 字段、元組和管道 
16.5.2 操作 
16.5.3 tap、scheme和flow 
16.5.4 cascading實(shí)戰(zhàn) 
16.5.5 靈活性 
16.5.6 hadoop和cascading在sharethis的應(yīng)用 
16.5.7 總結(jié) 
16.6 apache hadoop上萬(wàn)億數(shù)量級(jí)排序 
16.7 用pig和wukong探索10億數(shù)量級(jí)邊的網(wǎng)絡(luò)圖 
16.7.1 社區(qū)判斷 
16.7.2 每個(gè)人都在和我說(shuō)話：twitter回復(fù)關(guān)系圖 
16.7.3 對(duì)稱鏈接 
16.7.4 社區(qū)提取 

附錄a 安裝apache hadoop 
附錄b 關(guān)于cdh 
附錄c 準(zhǔn)備ncdc氣象數(shù)據(jù)