掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
大規模語言模型:從理論到實踐 版權信息
- ISBN：9787121467059
- 條形碼：9787121467059 ; 978-7-121-46705-9
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：>>
大規模語言模型:從理論到實踐 本書特色
√解碼大語言模型奧秘，引領機器智能新時代！ √詳細介紹構建LLM的四個主要階段：預訓練、有監督微調、獎勵建模和強化學習。每個階段都有算法、代碼、數據來源、難點及實踐經驗的詳細討論。 √結合作者在NLP領域多年的研究經驗、超300篇相關論文深度研讀感悟！ √分享作者團隊從0開始研發復旦大學MOSS大語言模型過程中的實踐經驗，為讀者展示大語言模型訓練的全流程細節。 √配全書PPT課件。
大規模語言模型:從理論到實踐 內容簡介
2023年ChatGPT火爆全球，以其為代表的人工智能大語言模型成為全球人工智能從業者關注的焦點。 本書詳細介紹了構建大語言模型的四個主要階段：預訓練、有監督微調、獎勵建模和強化學習。每個階段都有算法、代碼、數據、難點及實踐經驗的詳細討論。本書以大語言模型的基礎理論開篇，探討了大語言模型預訓練數據的構建方法，以及大語言模型如何理解并服從人類指令，介紹了大語言模型的擴展應用和評估方法，為讀者提供了更全面的視野。 本書旨在為對大語言模型感興趣的讀者提供入門指南，也可作為高年級本科生和研究生自然語言處理相關課程的補充教材。
大規模語言模型:從理論到實踐 目錄
第1章 緒論 1
1.1 大語言模型的基本概念 1
1.2 大語言模型的發展歷程 4
1.3 大語言模型的構建流程 8
1.4 本書的內容安排 11
第2章 大語言模型基礎 13
2.1 Transformer結構 13
2.1.1 嵌入表示層 14
2.1.2 注意力層 16
2.1.3 前饋層 18
2.1.4 殘差連接與層歸一化 19
2.1.5 編碼器和解碼器結構 20
2.2 生成式預訓練語言模型GPT 25
2.2.1 無監督預訓練 26
2.2.2 有監督下游任務微調 27
2.2.3 基于HuggingFace的預訓練語言模型實踐 27
2.3 大語言模型的結構 33
2.3.1 LLaMA的模型結構 34
2.3.2 注意力機制優化 40
2.4 實踐思考 47
第3章 大語言模型預訓練數據 49
3.1 數據來源 49
3.1.1 通用數據 50
3.1.2 專業數據 51
3.2 數據處理 52
3.2.1 質量過濾 52
3.2.2 冗余去除 53
3.2.3 隱私消除 55
3.2.4 詞元切分 55
3.3 數據影響分析 61
3.3.1 數據規模 61
3.3.2 數據質量 64
3.3.3 數據多樣性 66
3.4 開源數據集 68
3.4.1 Pile 68
3.4.2 ROOTS 71
3.4.3 RefinedWeb 73
3.4.4 SlimPajama 75
3.5 實踐思考 79
第4章 分布式訓練 80
4.1 分布式訓練概述 80
4.2 分布式訓練的并行策略 83
4.2.1 數據并行 84
4.2.2 模型并行 88
4.2.3 混合并行 96
4.2.4 計算設備內存優化 97
4.3 分布式訓練的集群架構 102
4.3.1 高性能計算集群的典型硬件組成 102
4.3.2 參數服務器架構 103
4.3.3 去中心化架構 104
4.4 DeepSpeed實踐 110
4.4.1 基礎概念 112
4.4.2 LLaMA分布式訓練實踐 115
4.5 實踐思考 127
第5章 有監督微調 128
5.1 提示學習和語境學習 128
5.1.1 提示學習 128
5.1.2 語境學習 130
5.2 高效模型微調 131
5.2.1 LoRA 131
5.2.2 LoRA的變體 135
5.3 模型上下文窗口擴展 137
5.3.1 具有外推能力的位置編碼 137
5.3.2 插值法 138
5.4 指令數據的構建 141
5.4.1 手動構建指令 141
5.4.2 自動構建指令 142
5.4.3 開源指令數據集 146
5.5 DeepSpeed-Chat SFT實踐 147
5.5.1 代碼結構 148
5.5.2 數據預處理 151
5.5.3 自定義模型 153
5.5.4 模型訓練 155
5.5.5 模型推理 156
5.6 實踐思考 157
第6章 強化學習 158
6.1 基于人類反饋的強化學習 158
6.1.1 強化學習概述 159
6.1.2 強化學習與有監督學習的區別 161
6.1.3 基于人類反饋的強化學習流程 162
6.2 獎勵模型 163
6.2.1 數據收集 164
6.2.2 模型訓練 166
6.2.3 開源數據 167
6.3 近端策略優化 168
6.3.1 策略梯度 168
6.3.2 廣義優勢估計 173
6.3.3 近端策略優化算法 175
6.4 MOSS-RLHF實踐 180
6.4.1 獎勵模型訓練 180
6.4.2 PPO微調 181
6.5 實踐思考 191
第7章 大語言模型應用 193
7.1 推理規劃 193
7.1.1 思維鏈提示 193
7.1.2 由少至多提示 196
7.2 綜合應用框架 197
7.2.1 LangChain框架核心模塊 198
7.2.2 知識庫問答系統實踐 216
7.3 智能代理 219
7.3.1 智能代理的組成 219
7.3.2 智能代理的應用實例 221
7.4 多模態大語言模型 228
7.4.1 模型架構 229
7.4.2 數據收集與訓練策略 232
7.4.3 多模態能力示例 236
7.5 大語言模型推理優化 238
7.5.1 FastServe框架 241
7.5.2 vLLM推理框架實踐 242
7.6 實踐思考 244
第8章 大語言模型評估 245
8.1 模型評估概述 245
8.2 大語言模型評估體系 247
8.2.1 知識與能力 247
8.2.2 倫理與安全 250
8.2.3 垂直領域評估 255
8.3 大語言模型評估方法 260
8.3.1 評估指標 260
8.3.2 評估方法 267
8.4 大語言模型評估實踐 274
8.4.1 基礎模型評估 274
8.4.2 SFT模型和RL模型評估 277
8.5 實踐思考 282
參考文獻 284
索引 303
展開全部
大規模語言模型:從理論到實踐 相關資料
大規模語言模型的成功研發和應用，幫助人類開啟了通用人工智能時代的大門。《大規模語言模型：從理論到實踐》是張奇教授等幾位作者的傾心之作，作者以深厚的學術造詣和豐富的實踐經驗，為我們揭示了大規模語言模型的基礎理論、技術演進、訓練方法和實踐應用。本書不僅為讀者提供了翔實的技術細節，更展示了作者對人工智能領域的嚴謹理解。對于從事自然語言處理、深度學習等領域的研究者和工程師來說，本書無疑是進入大規模語言模型領域的案頭參考書。 王小川，百川智能創始人兼CEO 大規模語言模型是技術發展最快的研究和產業方向，沒有之一。然而，很多人僅知其然不知其所以然，很多學生也沒有深入研究大規模語言模型的實踐機會。本書作者結合自己在自然語言處理領域多年的研究經驗、近300篇相關論文深度研讀感悟，特別是作者團隊從零開始研發復旦大學大規模語言模型過程中經歷的切身實踐經驗，最終形成本書，為讀者展示了大規模語言模型訓練的全流程細節，同時深入淺出地解釋了設計每一步的原理和效用，值得所有具備科學精神、想搞清楚大規模語言模型到底是怎么訓出來的投資人、管理者認真閱讀，更值得所有想從事或剛從事大規模語言模型研究和改進的研究人員深度閱讀。 胡國平，科大訊飛高級副總裁，認知智能全國重點實驗室主任 《大規模語言模型：從理論到實踐》一書深入闡述了大規模語言模型的演變歷程、理論基礎及開發實踐。本書聚焦大規模語言模型構建的核心技術，包括語言模型預訓練、指令微調和強化學習，并細致地介紹了每個階段所使用的算法、數據來源、面臨的難題及實踐經驗。此外，本書探討了大規模語言模型的應用領域和評價方法，為對大規模語言模型研究感興趣的研究者提供了理論支持和實踐指導。不僅如此，對于希望將大規模語言模型應用于實際問題解決的研發人員來說，本書同樣具有重要的參考價值。特此力薦！ 范建平，聯想集團副總裁、聯想研究院人工智能實驗室負責人 我始終相信，大規模語言模型帶來了一場新的科技革命，這場革命會逐漸滲透到整個社會的方方面面，帶來極其深遠的影響。了解、理解直至掌握大規模語言模型技術，對于眾多技術從業者而言迫在眉睫。出自復旦大學自然語言處理團隊的這本書的出版適逢其時，作者團隊堪稱豪華，在學術界也一直以嚴謹著稱。這本書不僅介紹了大規模語言模型的基本概念和原理，還提供了大量的工程實踐方法和示例代碼。無論是初學者還是經驗豐富的從業者，都會從中受益。這本書，你值得擁有！ 王斌，小米集團AI 實驗室主任、自然語言處理首席科學家
大規模語言模型:從理論到實踐 作者簡介
張奇
復旦大學計算機科學技術學院教授、博士生導師。主要研究方向是自然語言處理和信息檢索。兼任中國中文信息學會理事，中國中文信息學會信息檢索專委會常務委員，中國人工智能學會青年工作委員會常務委員。多次擔任ACL、EMNLP、COLING、全國信息檢索大會等重要國際、國內會議的程序委員會主席、領域主席、講習班主席等。承擔國家重點研發計劃課題、國家自然科學基金、上海市科委等多個項目，在國際重要學術刊物和會議上發表論文150余篇，獲得美國授權專利4項。獲得WSDM 2014最佳論文提名獎、COLING 2018領域主席推薦獎、NLPCC 2019杰出論文獎、COLING 2022杰出論文獎。獲得上海市“晨光計劃”人才計劃、復旦大學“卓越2025”人才培育計劃等支持，獲得錢偉長中文信息處理科學技術一等獎、漢王青年創新一等獎、上海市科技進步二等獎、ACM上海新星提名獎、IBM Faculty Award等獎項。
桂韜張奇
復旦大學計算機科學技術學院教授、博士生導師。主要研究方向是自然語言處理和信息檢索。兼任中國中文信息學會理事，中國中文信息學會信息檢索專委會常務委員，中國人工智能學會青年工作委員會常務委員。多次擔任ACL、EMNLP、COLING、全國信息檢索大會等重要國際、國內會議的程序委員會主席、領域主席、講習班主席等。承擔國家重點研發計劃課題、國家自然科學基金、上海市科委等多個項目，在國際重要學術刊物和會議上發表論文150余篇，獲得美國授權專利4項。獲得WSDM 2014最佳論文提名獎、COLING 2018領域主席推薦獎、NLPCC 2019杰出論文獎、COLING 2022杰出論文獎。獲得上海市“晨光計劃”人才計劃、復旦大學“卓越2025”人才培育計劃等支持，獲得錢偉長中文信息處理科學技術一等獎、漢王青年創新一等獎、上海市科技進步二等獎、ACM上海新星提名獎、IBM Faculty Award等獎項。
桂韜
復旦大學自然語言處理實驗室副研究員、碩士生導師。研究領域為預訓練模型、信息抽取和魯棒模型。在高水平國際學術期刊和會議上發表論文40余篇，主持國家自然科學基金、計算機學會、人工智能學會的多個基金項目。獲得錢偉長中文信息處理科學技術一等獎、中國中文信息學會優秀博士論文獎、COLING 2018最佳論文提名獎、NLPCC 2019杰出論文獎，入選第七屆中國科協青年人才托舉工程，入選上海市2023年度“科技創新行動計劃”啟明星項目，獲得2023年度世界人工智能大會云帆獎。
鄭銳
復旦大學計算機科學技術學院博士生，導師為張奇教授。研究興趣包括大模型對齊、魯棒性等。MOSS-RLHF開源項目負責人，文本魯棒性評測工具TextFlint的核心貢獻者，在ACL、EMNLP、COLING等國際會議上發表學術論文十余篇。
黃萱菁
復旦大學計算機科學技術學院教授、博士生導師。主要從事人工智能、自然語言處理和信息檢索研究。兼任中國中文信息學會理事，中國計算機學會自然語言處理專委會副主任，中國人工智能學會女科技工作者委員會副主任，計算語言學學會亞太分會副主席，亞太信息檢索學會指導委員會委員。承擔國家重點研發計劃課題、國家自然科學基金等多個項目，在國際重要學術刊物和會議上發表論文180余篇。獲得錢偉長中文信息處理科學技術一等獎、上海市育才獎、人工智能全球女性學者、福布斯中國科技女性等多項榮譽。
書友推薦
- >
中國人在烏蘇里邊疆區:歷史與人類學概述
- >
經典常談
- >
隨園食單
- >
苦雨齋序跋文-周作人自編集
- >
自卑與超越
- >
羅庸西南聯大授課錄
- >
名家帶你讀魯迅:朝花夕拾
- >
回憶愛瑪儂
本類暢銷
