掃一掃
關注中圖網
官方微博
本類五星書更多>
-
>
全國計算機等級考試最新真考題庫模擬考場及詳解·二級MSOffice高級應用
-
>
決戰行測5000題(言語理解與表達)
-
>
軟件性能測試.分析與調優實踐之路
-
>
第一行代碼Android
-
>
JAVA持續交付
-
>
EXCEL最強教科書(完全版)(全彩印刷)
-
>
深度學習
ChatGPT原理與實戰:大型語言模型的算法、技術和私有化 版權信息
- ISBN：9787111733034
- 條形碼：9787111733034 ; 978-7-111-73303-4
- 裝幀：平裝-膠訂
- 冊數：暫無
- 重量：暫無
- 所屬分類：>
ChatGPT原理與實戰:大型語言模型的算法、技術和私有化 本書特色
（1）作者經驗豐富：作者來自BAT等知名科技公司，是NLP和AI領域的資深專家，大模型領域的先驅者，實戰經驗豐富。
（2）深度解析ChatGPT：系統梳理并深入解析ChatGPT的核心技術、算法實現、工作原理、訓練方法，提供大量代碼及注解。
（3）搭建專屬ChatGPT：不僅教你如何實現大模型的遷移和私有化，而且手把手教你零基礎搭建自己專屬的ChatGPT。
（4）行業優選：MOSS系統負責人邱錫鵬、ChatGLM技術團隊成員劉瀟等多位大模型技術專家高度評價并推薦。
ChatGPT原理與實戰:大型語言模型的算法、技術和私有化 內容簡介
這是一本系統梳理并深入解析ChatGPT核心技術、算法實現、工作原理、訓練方法的著作，也是一本能指導你搭建專屬ChatGPT和實現大模型遷移及私有化的著作。本書得到了MOSS系統負責人邱錫鵬等多位專家的高度評價和鼎力推薦。
具體地，通過本書你能了解或掌握以下知識：
?ChatGPT的工作流程和技術棧
?ChatGPT的工作原理和算法實現
?基于Transformer架構的一系列預訓練語言模型的原理
?強化學習的基礎知識
?提示學習與大模型涌現出的上下文學習、思維鏈
?大模型的訓練方法及常見的分布式訓練框架這是一本系統梳理并深入解析ChatGPT核心技術、算法實現、工作原理、訓練方法的著作，也是一本能指導你搭建專屬ChatGPT和實現大模型遷移及私有化的著作。本書得到了MOSS系統負責人邱錫鵬等多位專家的高度評價和鼎力推薦。
具體地，通過本書你能了解或掌握以下知識：
?ChatGPT的工作流程和技術棧
?ChatGPT的工作原理和算法實現
?基于Transformer架構的一系列預訓練語言模型的原理
?強化學習的基礎知識
?提示學習與大模型涌現出的上下文學習、思維鏈
?大模型的訓練方法及常見的分布式訓練框架
?基于人工反饋的強化學習整體框架
?從零搭建類ChatGPT模型，模擬完整的ChatGPT訓練過程
本書集理論、實戰和產業應用于一體，提供大量經詳細注釋的代碼，方便讀者理解和實操。總之，不管里是想深入研究ChatGPT本身，還是正在研發或使用其他大模型，本書都應該能給你頗具價值的技術啟發與思考，讓你在大模型的路上快速前行，少走彎路。
ChatGPT原理與實戰:大型語言模型的算法、技術和私有化 目錄
CONTENTS
目 錄
贊譽
前言
第1章 了解ChatGPT1
1.1 ChatGPT的由來1
1.1.1 什么是ChatGPT2
1.1.2 ChatGPT的發展歷史2
1.2 ChatGPT的工作流程3
1.3 ChatGPT用例3
1.3.1 日常任務4
1.3.2 編寫代碼5
1.3.3 文本生成6
1.3.4 辦公自動化9
1.4 本章小結10
第2章 ChatGPT原理解構11
2.1 背景知識11
2.1.1 自然語言處理的發展歷程12
2.1.2 大型語言模型的發展歷程14
2.2 ChatGPT同類產品18
2.2.1 BlenderBot 3.018
2.2.2 LaMDA20
2.2.3 Sparrow23
2.3 ChatGPT的工作原理25
2.3.1 預訓練與提示學習階段26
2.3.2 結果評價與獎勵建模階段28
2.3.3 強化學習與自我進化階段28
2.4 算法細節29
2.4.1 標注數據29
2.4.2 建模思路30
2.4.3 存在的問題30
2.5 關于ChatGPT的思考31
2.6 本章小結32
第3章 預訓練語言模型33
3.1 Transformer結構33
3.2 基于Encoder結構的模型36
3.2.1 BERT36
3.2.2 RoBERTa39
3.2.3 ERNIE40
3.2.4 SpanBERT42
3.2.5 MacBERT43
3.2.6 ALBERT44
3.2.7 NeZha45
3.2.8 UniLM46
3.2.9 GLM47
3.2.10 ELECTRA48
3.3 基于Decoder結構的模型49
3.3.1 GPT49
3.3.2 CPM51
3.3.3 PaLM51
3.3.4 OPT52
3.3.5 Bloom53
3.3.6 LLaMA54
3.4 基于Encoder-Decoder結構的模型55
3.4.1 MASS55
3.4.2 BART56
3.4.3 T557
3.5 基于夸夸閑聊數據的UniLM
模型實戰59
3.5.1 項目簡介59
3.5.2 數據預處理模塊59
3.5.3 UniLM模型模塊63
3.5.4 模型訓練模塊65
3.5.5 模型推理模塊72
3.6 本章小結76
第4章 強化學習基礎77
4.1 機器學習的分類77
4.1.1 有監督學習78
4.1.2 無監督學習78
4.1.3 強化學習79
4.2 OpenAI Gym82
4.2.1 OpenAI Gym API簡介83
4.2.2 環境簡介84
4.3 強化學習算法85
4.3.1 Q-learning算法85
4.3.2 SARSA算法87
4.3.3 DQN算法89
4.3.4 Policy Gradient算法93
4.3.5 Actor-Critic算法95
4.4 本章小結98
第5章 提示學習與大型語言
模型的涌現99
5.1 提示學習99
5.1.1 什么是提示學習100
5.1.2 提示模板設計100
5.1.3 答案空間映射設計102
5.1.4 多提示學習方法103
5.2 上下文學習104
5.2.1 什么是上下文學習104
5.2.2 預訓練階段提升上下文
學習能力105
5.2.3 推理階段優化上下文
學習的效果107
5.3 思維鏈108
5.4 基于提示的文本情感分析實戰113
5.4.1 項目簡介113
5.4.2 數據預處理模塊114
5.4.3 BERT模型模塊115
5.4.4 模型訓練模塊118
5.4.5 模型推理模塊128
5.5 本章小結131
第6章 大型語言模型預訓練132
6.1 大型預訓練模型簡介132
6.2 預訓練模型中的分詞器133
6.2.1 BPE133
6.2.2 WordPiece135
6.2.3 Unigram136
6.2.4 SentencePiece137
6.3 分布式深度學習框架138
6.3.1 并行范式簡介139
6.3.2 Megatron-LM145
6.3.3 DeepSpeed147
6.3.4 Colossal-AI149
6.3.5 FairScale152
6.3.6 ParallelFormers153
6.3.7 OneFlow153
6.4 基于大型語言模型的預訓練實戰155
6.4.1 項目簡介155
6.4.2 數據預處理模塊156
6.4.3 執行模型訓練159
6.5 基于大型語言模型的信息
抽取實戰168
6.5.1 項目簡介168
6.5.2 數據預處理模塊169
6.5.3 Freeze微調模塊172
6.5.4 LoRA微調模塊176
6.5.5 P-Tuning v2微調模塊181
6.6 本章小結186
第7章 GPT系列模型分析187
7.1 GPT-1～GPT-4系列模型分析187
7.1.1 GPT-1和GPT-2模型187
7.1.2 GPT-3模型189
7.1.3 GPT-3的衍生模型：
Code-X192
7.1.4 GPT-4模型193
7.2 InstructGPT模型分析194
7.2.1 模型簡介194
7.2.2 數據收集195
7.2.3 模型原理198
7.2.4 模型討論199
7.3 基于GPT-2模型的文本摘要實戰200
7.3.1 項目簡介200
7.3.2 數據預處理模塊200
7.3.3 GPT-2模型模塊202
7.3.4 模型訓練模塊204
7.3.5 模型推理模塊213
7.4 本章小結219
第8章 PPO算法與RLHF理論實戰220
8.1 PPO算法簡介220
8.1.1 策略梯度算法回顧220
8.1.2 PPO算法原理剖析222
8.1.3 PPO算法對比與評價224
8.2 RLHF框架簡介226
8.2.1 RLHF內部剖析226
8.2.2 RLHF價值分析228
8.2.3 RLHF問題分析229
8.3 基于PPO的正向情感傾向性
生成項目實戰230
8.3.1 項目任務與數據集分析230
8.3.2 數據預處理模塊230
8.3.3 模型訓練模塊232
8.3.4 模型生成模塊234
8.3.5 模型評估模塊235
8.4 問題與思考237
8.5 本章小結238
第9章 類ChatGPT實戰239
9.1 任務設計239
9.2 數據準備240
9.3 基于文檔生成問題任務的類
ChatGPT實戰241
9.3.1 SFT階段241
9.3.2 RM階段249
9.3.3 RL階段259
9.4 本章小結270
第10章 ChatGPT發展趨勢271
10.1 AIGC的發展趨勢271
10.1.1 AI云邊協同272
10.1.2 AI工具應用273
10.1.3 AI可控生成274
10.1.4 AI輔助決策275
10.2 ChatGPT 2C應用場景276
10.2.1
目 錄
贊譽
前言
第1章 了解ChatGPT1
1.1 ChatGPT的由來1
1.1.1 什么是ChatGPT2
1.1.2 ChatGPT的發展歷史2
1.2 ChatGPT的工作流程3
1.3 ChatGPT用例3
1.3.1 日常任務4
1.3.2 編寫代碼5
1.3.3 文本生成6
1.3.4 辦公自動化9
1.4 本章小結10
第2章 ChatGPT原理解構11
2.1 背景知識11
2.1.1 自然語言處理的發展歷程12
2.1.2 大型語言模型的發展歷程14
2.2 ChatGPT同類產品18
2.2.1 BlenderBot 3.018
2.2.2 LaMDA20
2.2.3 Sparrow23
2.3 ChatGPT的工作原理25
2.3.1 預訓練與提示學習階段26
2.3.2 結果評價與獎勵建模階段28
2.3.3 強化學習與自我進化階段28
2.4 算法細節29
2.4.1 標注數據29
2.4.2 建模思路30
2.4.3 存在的問題30
2.5 關于ChatGPT的思考31
2.6 本章小結32
第3章 預訓練語言模型33
3.1 Transformer結構33
3.2 基于Encoder結構的模型36
3.2.1 BERT36
3.2.2 RoBERTa39
3.2.3 ERNIE40
3.2.4 SpanBERT42
3.2.5 MacBERT43
3.2.6 ALBERT44
3.2.7 NeZha45
3.2.8 UniLM46
3.2.9 GLM47
3.2.10 ELECTRA48
3.3 基于Decoder結構的模型49
3.3.1 GPT49
3.3.2 CPM51
3.3.3 PaLM51
3.3.4 OPT52
3.3.5 Bloom53
3.3.6 LLaMA54
3.4 基于Encoder-Decoder結構的模型55
3.4.1 MASS55
3.4.2 BART56
3.4.3 T557
3.5 基于夸夸閑聊數據的UniLM
模型實戰59
3.5.1 項目簡介59
3.5.2 數據預處理模塊59
3.5.3 UniLM模型模塊63
3.5.4 模型訓練模塊65
3.5.5 模型推理模塊72
3.6 本章小結76
第4章 強化學習基礎77
4.1 機器學習的分類77
4.1.1 有監督學習78
4.1.2 無監督學習78
4.1.3 強化學習79
4.2 OpenAI Gym82
4.2.1 OpenAI Gym API簡介83
4.2.2 環境簡介84
4.3 強化學習算法85
4.3.1 Q-learning算法85
4.3.2 SARSA算法87
4.3.3 DQN算法89
4.3.4 Policy Gradient算法93
4.3.5 Actor-Critic算法95
4.4 本章小結98
第5章 提示學習與大型語言
模型的涌現99
5.1 提示學習99
5.1.1 什么是提示學習100
5.1.2 提示模板設計100
5.1.3 答案空間映射設計102
5.1.4 多提示學習方法103
5.2 上下文學習104
5.2.1 什么是上下文學習104
5.2.2 預訓練階段提升上下文
學習能力105
5.2.3 推理階段優化上下文
學習的效果107
5.3 思維鏈108
5.4 基于提示的文本情感分析實戰113
5.4.1 項目簡介113
5.4.2 數據預處理模塊114
5.4.3 BERT模型模塊115
5.4.4 模型訓練模塊118
5.4.5 模型推理模塊128
5.5 本章小結131
第6章 大型語言模型預訓練132
6.1 大型預訓練模型簡介132
6.2 預訓練模型中的分詞器133
6.2.1 BPE133
6.2.2 WordPiece135
6.2.3 Unigram136
6.2.4 SentencePiece137
6.3 分布式深度學習框架138
6.3.1 并行范式簡介139
6.3.2 Megatron-LM145
6.3.3 DeepSpeed147
6.3.4 Colossal-AI149
6.3.5 FairScale152
6.3.6 ParallelFormers153
6.3.7 OneFlow153
6.4 基于大型語言模型的預訓練實戰155
6.4.1 項目簡介155
6.4.2 數據預處理模塊156
6.4.3 執行模型訓練159
6.5 基于大型語言模型的信息
抽取實戰168
6.5.1 項目簡介168
6.5.2 數據預處理模塊169
6.5.3 Freeze微調模塊172
6.5.4 LoRA微調模塊176
6.5.5 P-Tuning v2微調模塊181
6.6 本章小結186
第7章 GPT系列模型分析187
7.1 GPT-1～GPT-4系列模型分析187
7.1.1 GPT-1和GPT-2模型187
7.1.2 GPT-3模型189
7.1.3 GPT-3的衍生模型：
Code-X192
7.1.4 GPT-4模型193
7.2 InstructGPT模型分析194
7.2.1 模型簡介194
7.2.2 數據收集195
7.2.3 模型原理198
7.2.4 模型討論199
7.3 基于GPT-2模型的文本摘要實戰200
7.3.1 項目簡介200
7.3.2 數據預處理模塊200
7.3.3 GPT-2模型模塊202
7.3.4 模型訓練模塊204
7.3.5 模型推理模塊213
7.4 本章小結219
第8章 PPO算法與RLHF理論實戰220
8.1 PPO算法簡介220
8.1.1 策略梯度算法回顧220
8.1.2 PPO算法原理剖析222
8.1.3 PPO算法對比與評價224
8.2 RLHF框架簡介226
8.2.1 RLHF內部剖析226
8.2.2 RLHF價值分析228
8.2.3 RLHF問題分析229
8.3 基于PPO的正向情感傾向性
生成項目實戰230
8.3.1 項目任務與數據集分析230
8.3.2 數據預處理模塊230
8.3.3 模型訓練模塊232
8.3.4 模型生成模塊234
8.3.5 模型評估模塊235
8.4 問題與思考237
8.5 本章小結238
第9章 類ChatGPT實戰239
9.1 任務設計239
9.2 數據準備240
9.3 基于文檔生成問題任務的類
ChatGPT實戰241
9.3.1 SFT階段241
9.3.2 RM階段249
9.3.3 RL階段259
9.4 本章小結270
第10章 ChatGPT發展趨勢271
10.1 AIGC的發展趨勢271
10.1.1 AI云邊協同272
10.1.2 AI工具應用273
10.1.3 AI可控生成274
10.1.4 AI輔助決策275
10.2 ChatGPT 2C應用場景276
10.2.1
展開全部
書友推薦
- >
回憶愛瑪儂
- >
苦雨齋序跋文-周作人自編集
- >
煙與鏡
- >
二體千字文
- >
唐代進士錄
- >
羅曼·羅蘭讀書隨筆-精裝
- >
姑媽的寶刀
- >
有舍有得是人生
本類暢銷
