第1分大模型介紹 第1章大模型概述 1.1什么是大模型 1.1.1大模型的定義 1.1.2大模型的關鍵征 1.1.3大模型是如何工作的 1.2當前流行的大模型 1.2.1BERT 1.2.2GPT3和 ChatGPT 1.2.3T5 1.3垂直領域大模型 1.4大模型的應用 1.4.1的NLP任務 1.4.2自由文本生成 1.4.3信息檢索/經語意搜索 1.4.4聊天機器人 1.5本章小結 第2章大模型語義檢索 2.1簡介 2.2語義檢索的任務 2.3非對稱語義檢索方案概述 2.4組件 2.4.1文本嵌入器 2.4.2文檔分塊 2.4.3向量數據庫 2.4.4Pinecone 2.4.5開源替代方案 2.4.6檢索結果重排 2.4.7API 2.5完整方案 2.6閉源組件的成本 2.7本章小結 第3章提示詞工程入門 3.1簡介 3.2提示詞工程 3.2.1LLM的對齊 3.2.2LLM提問 3.2.3小樣本學 3.2.4結構化輸出 3.2.5人物角色提示詞 3.3跨模型提示詞工程 3.3.1ChatGPT 3.3.2Cohere 3.3.3開源提示詞工程 3.4采用ChatGPT構建問答機器人 3.5本章小結 第2分充分挖掘大模型的潛力 第4章通過定制化微調化大模型 4.1簡介 4.2遷移學與微調入門 4.2.1微調過程的解釋 4.2.2閉源預訓練模型作為基礎模型 4.3OpenAI 微調 API 概覽 4.3.1GPT3微調 API 4.3.2案例學： 情感分類 4.3.3數據指南和佳實踐 4.4使用OpenAI CLI實現自定義數據微調 4.5設置 OpenAI CLI 4.6LLM微調實踐 4.6.1采用量化指標評測大模型 4.6.2定性評估技術 4.6.3將微調的GPT3模型集成到應用程序中 4.6.4案例學： 分類 4.7本章小結 第5章高級提示工程 5.1提示注入攻擊 5.2輸入/輸出驗證 5.3批處理提示 5.4提示鏈 5.4.1提示鏈作為御提示注入的手段 5.4.2使用提示鏈來止提示填充 5.4.3使用提示鏈來地使用多模態LLM 5.5思維鏈提示 5.6重新審視小樣本學 5.7測試和迭代快速開發 5.8本章小結 第6章定制嵌入層和模型架構 6.1案例研究： 構建一個推薦系統 6.1.1定義問題和數據 6.1.2推薦系統的定義 6.1.3基于萬條用戶行為數據構建推薦系統 6.1.4生成自定義字段來對比項目的相似性 6.1.5采用基礎詞向量構建基線 6.1.6準備微調數據 6.1.7使用Sentence Transformers微調開源嵌入器 6.1.8微調效果總結 6.2本章小結 第3分大模型的高級使用 第7章越基礎模型 7.1案例研究： 視覺問答 7.1.1模型簡介： DistilBERT、視覺轉換器和GPT2 7.1.2隱藏狀態投影和融合 7.1.3交注意力是什么以及為什么關重要 7.1.4定制多模式聯運模型 7.1.5數據： 視覺問答 7.1.6VQA訓練迭代 7.1.7結果總結 7.2案例研究： 從反饋中強化學 7.2.1FLANT5模型 7.2.2獎勵模型： 情感和語法正確性 7.2.3Transformer強化學 7.2.4RLF訓練循環 7.2.5結果總結 7.3本章小結 第8章開源大模型的高級微調方法 8.1案例研究： 采用BERT對動漫進行多標簽分類 8.1.1采用Jaccard相似分來評估動漫標題多標簽分類的效果 8.1.2簡單的微調大模型訓練流程 8.1.3通用的開源大模型微調技巧 8.1.4結果總結 8.2采用GPT2生成LaTeX 8.2.1開源大模型的提示詞工程 8.2.2結果總結 8.3Sinan嘗試做出聰明而美的回應： SAWYER 8.3.1有監督指令微調 8.3.2獎勵模型的訓練 8.3.3從(期望的)人類反饋中進行強化學 8.3.4結果總結 8.4日新月異的微調 8.5本章小結 第9章將LLM應用于生產 9.1閉源LLM應用于生產 9.2開源LLM應用于生產 9.2.1將LLM應用于推理 9.2.2互作性 9.2.3模型量化 9.2.4模型剪枝 9.2.5知識蒸餾 9.2.6大模型的成本預估 9.2.7模型推送到Hugging Face倉庫 9.3本章小結 9.3.1歡迎向社區貢獻代碼 9.3.2繼續加油 第4分附錄 附錄ALLM常見問題解答 附錄BLLM術語表 附錄CLLM應用架構