本书聚焦谷歌公司开发的BERT自然语言处理模型，由浅入深地介绍了BERT的工作原理、BERT的各种变体及其应用。
电子书
编辑推荐
一本书读懂大语言模型的前世今生。
内容简介
本书深入阐述了大语言模型的基本概念和算法、研究前沿以及应用，涵盖大语言模型的广泛主题，从基础到前沿，从方法到应用，涉及从方法论到应用场景方方面面的内容。
首先，本书介绍了人工智能领域的进展和趋势；其次，探讨了语言模型的基本概念和架构、Transformer、预训练目标和解码策略、上下文学习和轻量级微调、稀疏专家模型、检索增强型语言模型、对齐语言模型与人类偏好、减少偏见和有害性以及视觉语言模型等内容；最后，讨论了语言模型对环境的影响。
章节目录
- 版权信息
- 版 权
- 内容提要
- 资源与支持
- 前 言
- 第1章 大语言模型：辩论、争议与未来发展方向
- 1.1 新时代的曙光
- 1.2 LLM有意识吗
- 1.2.1 理解LLM的层次结构
- 1.2.2 意识是否需要碳基生物学
- 1.2.3 具身化与落地
- 1.2.4 世界模型
- 1.2.5 沟通意图
- 1.2.6 系统性和全面泛化
- 1.3 未来发展方向
- 1.4 小结
- 第2章 语言模型和分词
- 2.1 语言建模的挑战
- 2.2 统计语言建模
- 2.3 神经语言模型
- 2.4 评估语言模型
- 2.5 分词
- 2.5.1 按空格分割
- 2.5.2 字符分词
- 2.5.3 子词分词
- 2.5.4 无分词器
- 2.5.5 可学习的分词
- 2.6 小结
- 第3章 Transformer
- 3.1 Transformer编码器模块
- 3.2 编码器-解码器架构
- 3.3 位置嵌入
- 3.3.1 绝对位置编码
- 3.3.2 相对位置编码
- 3.4 更长的上下文
- 3.5 外部记忆
- 3.6 更快、更小的Transformer
- 3.6.1 高效注意力
- 3.6.2 条件计算
- 3.6.3 搜索高效Transformer
- 3.6.4 在单个GPU上一天内训练一个语言模型
- 3.7 推理优化
- 3.7.1 推测解码
- 3.7.2 简化Transformer
- 3.7.3 修剪
- 3.7.4 蒸馏
- 3.7.5 混合精度
- 3.7.6 高效扩展Transformer推理
- 3.8 小结
- 第4章 预训练目标和解码策略
- 4.1 模型架构
- 4.2 预训练目标
- 4.3 具有代表性的语言模型
- 4.4 解码策略
- 4.5 小结
- 第5章 上下文学习和轻量级微调
- 5.1 上下文学习
- 5.1.1 示范样本选择
- 5.1.2 样本排序
- 5.1.3 指令生成
- 5.1.4 思维链
- 5.1.5 递归提示
- 5.1.6 为什么ICL有效
- 5.1.7 评估
- 5.2 提示语言模型的校准
- 5.3 轻量级微调
- 5.3.1 基于添加的方法
- 5.3.2 基于规范的方法
- 5.3.3 基于重新参数化的方法
- 5.3.4 混合方法
- 5.4 小结
- 第6章 训练更大的模型
- 6.1 扩大尺度法则
- 6.1.1 预训练Transformer扩大尺度的启示
- 6.1.2 预训练和微调Transformer带来的新启示
- 6.1.3 k比特推理扩大尺度法则
- 6.1.4 挑战与机遇
- 6.2 涌现能力
- 6.3 人工智能加速器
- 6.4 并行
- 6.4.1 数据并行
- 6.4.2 流水线并行
- 6.4.3 张量/模型并行
- 6.4.4 专家混合
- 6.5 混合训练和低精度训练
- 6.5.1 单位缩放
- 6.5.2 FP8与INT8
- 6.6 其他节省内存的设计
- 6.7 小结
- 第7章 稀疏专家模型
- 7.1 为什么采用稀疏专家模型
- 7.2 路由算法
- 7.2.1 每个词元选择top-k个专家
- 7.2.2 每个专家选择top-k个词元
- 7.2.3 全局最优分配
- 7.2.4 随机路由
- 7.2.5 双层路由
- 7.2.6 针对不同预训练领域的不同专家
- 7.3 其他改进措施
- 7.3.1 加快训练速度
- 7.3.2 高效的MoE架构
- 7.3.3 生产规模部署
- 7.3.4 通过稀疏MoE扩展视觉语言模型
- 7.3.5 MoE与集成
- 7.4 小结
- 第8章 检索增强型语言模型
- 8.1 预训练检索增强型语言模型
- 8.2 词元级检索
- 8.3 通过高效和精简检索进行问答和多跳推理
- 8.4 检索增强型Transformer
- 8.5 检索增强型黑盒语言模型
- 8.6 视觉增强语言建模
- 8.7 小结
- 第9章 对齐语言模型与人类偏好
- 9.1 基于人类反馈进行微调
- 9.1.1 基于人类反馈的强化学习
- 9.1.2 KL散度：前向与反向
- 9.1.3 REINFORCE、TRPO和PPO
- 9.1.4 带有KL惩罚的强化学习：贝叶斯推理观点
- 9.1.5 通过分布控制生成进行语言模型对齐
- 9.1.6 通过f散度最小化统一RLHF和GDC方法
- 9.2 基于语言反馈进行微调
- 9.3 基于监督学习进行微调
- 9.4 基于人工智能反馈的强化学习
- 9.5 基于自我反馈进行迭代优化
- 9.6 基于人类偏好进行预训练
- 9.7 小结
- 第10章 减少偏见和有害性
- 10.1 偏见
- 10.2 有害性
- 10.3 偏见和有害性的检测与减少
- 10.3.1 基于解码的策略
- 10.3.2 基于提示的脱毒
- 10.3.3 基于数据的策略
- 10.3.4 基于投影和正则化的方法
- 10.3.5 基于风格转换的方法
- 10.3.6 基于强化学习的微调和基于人类偏好的预训练
- 10.4 小结
- 第11章 视觉语言模型
- 11.1 语言处理的多模态落地
- 11.2 不需要额外训练即可利用预训练模型
- 11.2.1 视觉引导解码策略
- 11.2.2 作为大语言模型提示的视觉输入
- 11.2.3 基于相似性搜索的多模态对齐
- 11.3 轻量级适配
- 11.3.1 锁定图像调优
- 11.3.2 作为（冻结）语言模型前缀的学习视觉嵌入
- 11.3.3 视觉-文本交叉注意力融合
- 11.4 图文联合训练
- 11.5 检索增强视觉语言模型
- 11.6 视觉指令调整
- 11.7 小结
- 第12章 环境影响
- 12.1 能源消耗和温室气体排放
- 12.2 估算训练模型的排放量
- 12.3 小结
- 参考文献
展开全部
大语言模型：基础与前沿是2024年由人民邮电出版社出版,作者熊涛。
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《大语言模型：基础与前沿》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
本书旨在帮助读者深入了解行业和技术趋势，推动科研院所对新技术新业务的研究，促进厂商更好地把握市场需求和技术方向。
电子书
本套书是根据当前高等职业教育教学改革的需要，并结合当前五年制高职院校学生的特点编写的。全套书共3册。由岳广峰主编的《数学(基础版第3册五年制高等职业技术教育教材)》内容包括直线与直线的方程、简单的线性规划问题、圆与圆的方程、圆锥曲线。本套书在不降低学生素质能力培养的前提下，力求结构完整、体系合理、够用实用；注重基础知识，浅显易懂，强化学生对基础知识的掌握；符合学生的特点和认知规律，有利于提高学生的
电子书
解读AIGC及ChatGPT的热点问题，洞察AIGC时代的机遇与隐忧，选好赛道，乘风而起。
电子书
人工智能是人类探索未来的重要领域之一，以ChatGPT为代表的大模型应用一经推出在短短几个月时间内火爆全球。大模型代表了自然语言处理领域的一项伟大成就，它的诞生和发展正引领着我们走向全新的创作时代。本书共9章，深入探讨了大模型的工作原理和使用方法——提示工程，并研究了提示工程在电子商务、创意营销、内容创作、办公和编程等场景中的应用，以及如何赋能软件生态的发展等。本书旨在帮助读者了解提示工程的应用场
电子书
本书致力于介绍图神经网络的基本概念和算法、研究前沿以及广泛和新兴的应用。
电子书
科技与人文的碰撞，你能看到来自科学家、投资人、艺术家的思想火花。
电子书
本书从“什么是高级会计师”入手，介绍了高级会计师职称的历史沿革，阐述了取得高级会计师职称对财务人员的重要意义。书中详细介绍了高级会计师学习、考试、评审的全过程，通过大量的案例、模板，将考试攻略、专业技术工作总结撰写技巧、学术成果准备技巧、答辩技巧等向读者进行传递。
