类似推荐
编辑推荐
BAT资深大模型专家撰写，深入解析ChatGPT技术、算法、原理和训练方法。
内容简介
本书是一本系统梳理并深入解析ChatGPT核心技术、算法实现、工作原理、训练方法的著作，也是一本能指导你搭建专属ChatGPT和实现大模型迁移及私有化的著作。本书得到了MOSS系统负责人邱锡鹏等多位专家的高度评价和鼎力推荐。
全书集理论、实战和产业应用于一体，提供大量经详细注释的代码，方便读者理解和实操。总之，不管里是想深入研究ChatGPT本身，还是正在研发或使用其他大模型，本书都应该能给你颇具价值的技术启发与思考，让你在大模型的路上快速前行，少走弯路。
作者简介
作者涂铭，阿里巴巴数据架构师，对大数据、自然语言处理、Python、Java相关技术有深入的研究，积累了丰富的实践经验。曾就职于北京明略数据，是大数据方面的高级咨询顾问。
在工业领域参与了设备故障诊断项目，在零售行业参与了精准营销项目。在自然语言处理方面，担任导购机器人项目的架构师，主导开发机器人的语义理解、短文本相似度匹配、上下文理解，以及通过自然语言检索产品库，在项目中构建了NoSQL+文本检索等大数据架构，同时也负责问答对的整理和商品属性的提取，带领NLP团队构建语义解析层。
章节目录
版权信息
赞誉
前言
第1章 了解ChatGPT
1.1 ChatGPT的由来
1.1.1 什么是ChatGPT
1.1.2 ChatGPT的发展历史
1.2 ChatGPT的工作流程
1.3 ChatGPT用例
1.3.1 日常任务
1.3.2 编写代码
1.3.3 文本生成
1.3.4 办公自动化
1.4 本章小结
第2章 ChatGPT原理解构
2.1 背景知识
2.1.1 自然语言处理的发展历程
2.1.2 大型语言模型的发展历程
2.2 ChatGPT同类产品
2.2.1 BlenderBot 3.0
2.2.2 LaMDA
2.2.3 Sparrow
2.3 ChatGPT的工作原理
2.3.1 预训练与提示学习阶段
2.3.2 结果评价与奖励建模阶段
2.3.3 强化学习与自我进化阶段
2.4 算法细节
2.4.1 标注数据
2.4.2 建模思路
2.4.3 存在的问题
2.5 关于ChatGPT的思考
2.6 本章小结
第3章 预训练语言模型
3.1 Transformer结构
3.2 基于Encoder结构的模型
3.2.1 BERT
3.2.2 RoBERTa
3.2.3 ERNIE
3.2.4 SpanBERT
3.2.5 MacBERT
3.2.6 ALBERT
3.2.7 NeZha
3.2.8 UniLM
3.2.9 GLM
3.2.10 ELECTRA
3.3 基于Decoder结构的模型
3.3.1 GPT
3.3.2 CPM
3.3.3 PaLM
3.3.4 OPT
3.3.5 Bloom
3.3.6 LLaMA
3.4 基于Encoder-Decoder结构的模型
3.4.1 MASS
3.4.2 BART
3.4.3 T5
3.5 基于夸夸闲聊数据的UniLM模型实战
3.5.1 项目简介
3.5.2 数据预处理模块
3.5.3 UniLM模型模块
3.5.4 模型训练模块
3.5.5 模型推理模块
3.6 本章小结
第4章 强化学习基础
4.1 机器学习的分类
4.1.1 有监督学习
4.1.2 无监督学习
4.1.3 强化学习
4.2 OpenAI Gym
4.2.1 OpenAI Gym API简介
4.2.2 环境简介
4.3 强化学习算法
4.3.1 Q-learning算法
4.3.2 SARSA算法
4.3.3 DQN算法
4.3.4 Policy Gradient算法
4.3.5 Actor-Critic算法
4.4 本章小结
第5章 提示学习与大型语言模型的涌现
5.1 提示学习
5.1.1 什么是提示学习
5.1.2 提示模板设计
5.1.3 答案空间映射设计
5.1.4 多提示学习方法
5.2 上下文学习
5.2.1 什么是上下文学习
5.2.2 预训练阶段提升上下文学习能力
5.2.3 推理阶段优化上下文学习的效果
5.3 思维链
5.4 基于提示的文本情感分析实战
5.4.1 项目简介
5.4.2 数据预处理模块
5.4.3 BERT模型模块
5.4.4 模型训练模块
5.4.5 模型推理模块
5.5 本章小结
第6章 大型语言模型预训练
6.1 大型预训练模型简介
6.2 预训练模型中的分词器
6.2.1 BPE
6.2.2 WordPiece
6.2.3 Unigram
6.2.4 SentencePiece
6.3 分布式深度学习框架
6.3.1 并行范式简介
6.3.2 Megatron-LM
6.3.3 DeepSpeed
6.3.4 Colossal-AI
6.3.5 FairScale
6.3.6 ParallelFormers
6.3.7 OneFlow
6.4 基于大型语言模型的预训练实战
6.4.1 项目简介
6.4.2 数据预处理模块
6.4.3 执行模型训练
6.5 基于大型语言模型的信息抽取实战
6.5.1 项目简介
6.5.2 数据预处理模块
6.5.3 Freeze微调模块
6.5.4 LoRA微调模块
6.5.5 P-Tuning v2微调模块
6.6 本章小结
第7章 GPT系列模型分析
7.1 GPT-1～GPT-4系列模型分析
7.1.1 GPT-1和GPT-2模型
7.1.2 GPT-3模型
7.1.3 GPT-3的衍生模型：Code-X
7.1.4 GPT-4模型
7.2 InstructGPT模型分析
7.2.1 模型简介
7.2.2 数据收集
7.2.3 模型原理
7.2.4 模型讨论
7.3 基于GPT-2模型的文本摘要实战
7.3.1 项目简介
7.3.2 数据预处理模块
7.3.3 GPT-2模型模块
7.3.4 模型训练模块
7.3.5 模型推理模块
7.4 本章小结
第8章 PPO算法与RLHF理论实战
8.1 PPO算法简介
8.1.1 策略梯度算法回顾
8.1.2 PPO算法原理剖析
8.1.3 PPO算法对比与评价
8.2 RLHF框架简介
8.2.1 RLHF内部剖析
8.2.2 RLHF价值分析
8.2.3 RLHF问题分析
8.3 基于PPO的正向情感倾向性生成项目实战
8.3.1 项目任务与数据集分析
8.3.2 数据预处理模块
8.3.3 模型训练模块
8.3.4 模型生成模块
8.3.5 模型评估模块
8.4 问题与思考
8.5 本章小结
第9章 类ChatGPT实战
9.1 任务设计
9.2 数据准备
9.3 基于文档生成问题任务的类ChatGPT实战
9.3.1 SFT阶段
9.3.2 RM阶段
9.3.3 RL阶段
9.4 本章小结
第10章 ChatGPT发展趋势
10.1 AIGC的发展趋势
10.1.1 AI云边协同
10.1.2 AI工具应用
10.1.3 AI可控生成
10.1.4 AI辅助决策
10.2 ChatGPT 2C应用场景
10.2.1 个人助手
10.2.2 知识导师
10.2.3 创意集市
10.2.4 情感伴侣
10.3 ChatGPT 2B应用场景
10.3.1 智能客服
10.3.2 办公助手
10.3.3 软件研发
10.3.4 决策辅助
10.4 行业参考建议
10.5 本章小结
ChatGPT原理与实战：大型语言模型的算法、技术和私有化是2023年由机械工业出版社出版,作者涂铭 等。
得书感谢您对《ChatGPT原理与实战：大型语言模型的算法、技术和私有化》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
