目錄 第1部分概述 第1章互聯網大數據 1.1從IT走向DT 1.1.1信息化與Web時代 1.1.2大數據時代 1.2互聯網大數據及其特點 1.3互聯網大數據處理的相關技術 1.3.1技術體系構成 1.3.2相關技術研究 1.4互聯網大數據技術的發展 1.5本書內容安排 思考題 第2部分互聯網大數據的獲取 第2章Web頁面數據獲取 2.1網絡爬蟲技術概述 2.2爬蟲的內核技術 2.2.1Web服務器連接器 2.2.2頁面解析器 2.2.3爬行策略搜索 2.3主題爬蟲技術 2.3.1主題爬蟲模塊構成 2.3.2主題定義 2.3.3鏈接相關度估算 2.3.4內容相關度計算 2.4動態Web頁面獲取技術 2.4.1動態頁面的分類 2.4.2動態頁面的獲取方法 2.4.3模擬瀏覽器的實現 2.4.4基于腳本解析的實現 2.5微博信息內容獲取技術 2.6DeepWeb數據獲取技術 2.6.1相關概念 2.6.2DeepWeb數據獲取方法 2.7反爬蟲技術與反反爬蟲技術 2.7.1反爬蟲技術 2.7.2反反爬蟲技術 2.7.3爬蟲技術的展望 思考題 第3章互聯網大數據的提取技術 3.1Web頁面內容提取技術 3.1.1Web頁面內容提取的基本任務 3.1.2Web頁面解析方法概述 3.1.3基于HTMLParser的頁面解析 3.1.4基于Jsoup的頁面解析 3.2基于統計的Web信息抽取方法 3.3其他互聯網大數據的提取 3.4阿里云公眾趨勢分析中的信息提取應用 3.5互聯網大數據提取的挑戰性問題 思考題 第3部分互聯網大數據的結構化處理與分析技術 第4章結構化處理技術 4.1互聯網大數據中的文本信息特征 4.2中文文本的詞匯切分 4.2.1詞匯切分的一般流程 4.2.2基于詞典的分詞方法 4.2.3基于統計的分詞方法 4.2.4歧義處理 4.3詞性識別 4.3.1詞性標注的難點 4.3.2基于規則的方法 4.3.3基于統計的方法 4.4新詞識別 4.5停用詞的處理 4.6英文中的詞形規范化 4.7開源工具與平臺 4.7.1開源工具及應用 4.7.2阿里分詞器 思考題 第5章大數據語義分析技術 5.1語義及語義分析 5.2詞匯級別的語義技術 5.2.1詞匯的語義關系 5.2.2知識庫資源 5.2.3詞向量 5.2.4詞匯的語義相關度計算 5.3句子級別的語義分析技術 5.4命名實體識別技術 5.4.1命名實體識別的研究內容 5.4.2人名識別方法 5.4.3地名識別方法 5.4.4時間識別方法 5.4.5基于機器學習的命名實體識別 5.5大數據語義分析技術的發展 思考題 第6章大數據分析的模型與算法 6.1大數據分析技術概述 6.2特征選擇與特征提取 6.2.1特征選擇 6.2.2特征提取 6.2.3基于深度學習的特征提取 6.3文本的向量空間模型 6.3.1向量空間模型的維 6.3.2向量空間模型的坐標 6.3.3向量空間模型中的運算 6.3.4文本型數據的邏輯存儲結構 6.4文本的概率模型 6.4.1Ngram模型 6.4.2概率主題模型 6.5分類技術 6.5.1分類技術概要 6.5.2經典的分類技術 6.6聚類技術 6.7回歸分析 6.7.1回歸分析的基本思路 6.7.2線性回歸 6.7.3加權線性回歸 6.7.4邏輯回歸 6.8大數據分析算法的并行化 6.8.1并行化框架 6.8.2矩陣相乘的并行化 6.8.3經典分析算法的并行化 6.9基于阿里云大數據平臺的數據挖掘實例 6.9.1網絡數據流量分析 6.9.2網絡論壇話題分析 思考題 第7章大數據隱私保護 7.1隱私保護概述 7.2隱私保護模型 7.2.1隱私泄露場景 7.2.2k匿名及其演化 7.2.31多元化 7.3位置隱私保護 7.4社會網絡隱私保護 思考題 第8章大數據技術平臺 8.1概述 8.2大數據技術平臺的分類 8.3大數據存儲平臺 8.3.1大數據存儲需要考慮的因素 8.3.2HBase 8.3.3MongoDB 8.3.4Neo4j 8.3.5云數據庫 8.3.6其他 8.4大數據可視化 8.4.1大數據可視化的挑戰 8.4.2大數據可視化方法 8.4.3大數據可視化工具 8.5Hadoop 8.5.1Hadoop概述 8.5.2Hadoop生態圈及關鍵技術 8.5.3Hadoop的版本 8.6Spark 8.6.1Spark的概述 8.6.2Spark的生態圈 8.6.3SparkSQL 8.6.4Spark Streaming 8.6.5Spark機器學習 8.7阿里云大數據平臺 8.7.1飛天系統 8.7.2大數據集成平臺 思考題 第4部分綜 合 應 用 第9章基于阿里云大數據技術的個性化新聞推薦 9.1目的與任務 9.2系統架構 9.3存儲設計 9.3.1RDS 9.3.2OSS 9.3.3OTS 9.3.4MaxCompute 9.4軟件架構 9.4.1ECS 9.4.2爬蟲 9.4.3模型訓練 9.4.4分類過程 9.4.5開源代碼 9.5阿里云大數據的應用開發 9.5.1開發環境 9.5.2部署 9.5.3運行與測試 思考題 參考文獻