类似推荐
编辑推荐
本书从基础知识、预训练词向量、预训练模型等几大方面全面系统地介绍了预训练语言模型技术。
内容简介
自然语言处理被誉为“人工智能皇冠上的明珠”。
深度学习等技术的引入为自然语言处理技术带来了一场革命，尤其是近年来出现的基于预训练模型的方法，已成为研究自然语言处理的新范式。本书在介绍自然语言处理、深度学习等基本概念的基础上，重点介绍新的基于预训练模型的自然语言处理技术。
本书包括基础知识、预训练词向量和预训练模型三大部分：基础知识部分介绍自然语言处理和深度学习的基础知识和基本工具；预训练词向量部分介绍静态词向量和动态词向量的预训练方法及应用；预训练模型部分介绍几种典型的预训练语言模型及应用，以及预训练模型的新进展。除了理论知识，本书还有针对性地结合具体案例提供相应的PyTorch 代码实现，不仅能让读者对理论有更深刻的理解，还能快速地实现自然语言处理模型，达到理论和实践的统一。
本书既适合具有一定机器学习基础的高等院校学生、研究机构的研究者，以及希望深入研究自然语言处理算法的计算机工程师阅读，也适合对人工智能、深度学习和自然语言处理感兴趣的学生和希望进入人工智能应用领域的研究者参考。
作者简介
作者车万翔，博士，哈尔滨工业大学计算学部长聘教授、博士生导师，社会计算与信息检索研究中心副主任。教育部青年长江学者，黑龙江省“龙江学者”青年学者，斯坦福大学访问学者。现任中国中文信息学会计算语言学专业委员会副主任兼秘书长；国际计算语言学学会亚太分会（AACL）执委兼秘书长；中国计算机学会高级会员。在ACL、EMNLP、AAAI、IJCAI等国内外高水平期刊和会议上发表学术论文50余篇，其中AAAI 2013年的文章获得了论文提名奖，论文累计被引用4,600余次（Google Scholar数据），H-index值为37。出版教材2部，译著2部。目前承担2030“新一代人工智能”重大项目课题、国家自然科学基金等多项科研项目。负责研发的语言技术平台（LTP）已被600余家单位共享，提供的在线“语言云”服务已有用户1万余人，并授权给百度、腾讯、华为等公司使用。2018、2019连续两年获CoNLL国际评测No.1。2020年获黑龙江省青年科技奖；2015、2016连续两年获Google Focused Research Award（谷歌专注研究奖）；2016年获黑龙江省科技进步一等奖（排名第2）；2012年获黑龙江省技术发明奖二等奖（排名第2）；2010年获中国中文信息学会“钱伟长”中文信息处理科学技术奖一等奖（排名第2）、首届汉王青年创新奖（个人）等多项奖励。2017年，所主讲的MOOC课程《高级语言程序设计（Python）》获国家精品在线开放课程。
章节目录
版权信息
内容简介
推荐序
推荐语
前言
数学符号
第1章 绪论
1.1 自然语言处理的概念
1.2 自然语言处理的难点
1.2.1 抽象性
1.2.2 组合性
1.2.3 歧义性
1.2.4 进化性
1.2.5 非规范性
1.2.6 主观性
1.2.7 知识性
1.2.8 难移植性
1.3 自然语言处理任务体系
1.3.1 任务层级
1.3.2 任务类别
1.3.3 研究对象与层次
1.4 自然语言处理技术发展历史
第2章 自然语言处理基础
2.1 文本的表示
2.1.1 词的独热表示
2.1.2 词的分布式表示
2.1.3 词嵌入表示
2.1.4 文本的词袋表示
2.2 自然语言处理任务
2.2.1 语言模型
2.2.2 自然语言处理基础任务
2.2.3 自然语言处理应用任务
2.3 基本问题
2.3.1 文本分类问题
2.3.2 结构预测问题
2.3.3 序列到序列问题
2.4 评价指标
2.5 小结
第3章 基础工具集与常用数据集
3.1 NLTK工具集
3.1.1 常用语料库和词典资源
3.1.2 常用自然语言处理工具集
3.2 LTP工具集
3.2.1 中文分词
3.2.2 其他中文自然语言处理功能
3.3 PyTorch基础
3.3.1 张量的基本概念
3.3.2 张量的基本运算
3.3.3 自动微分
3.3.4 调整张量形状
3.3.5 广播机制
3.3.6 索引与切片
3.3.7 降维与升维
3.4 大规模预训练数据
3.4.1 维基百科数据
3.4.2 原始数据的获取
3.4.3 语料处理方法
3.4.4 Common Crawl数据
3.5 更多数据集
3.6 小结
第4章 自然语言处理中的神经网络基础
4.1 多层感知器模型
4.1.1 感知器
4.1.2 线性回归
4.1.3 Logistic回归
4.1.4 Softmax回归
4.1.5 多层感知器
4.1.6 模型实现
4.2 卷积神经网络
4.2.1 模型结构
4.2.2 模型实现
4.3 循环神经网络
4.3.1 模型结构
4.3.2 长短时记忆网络
4.3.3 模型实现
4.3.4 基于循环神经网络的序列到序列模型
4.4 注意力模型
4.4.1 注意力机制
4.4.2 自注意力模型
4.4.3 Transformer
4.4.4 基于Transformer的序列到序列模型
4.4.5 Transformer模型的优缺点
4.4.6 模型实现
4.5 神经网络模型的训练
4.5.1 损失函数
4.5.2 梯度下降
4.6 情感分类实战
4.6.1 词表映射
4.6.2 词向量层
4.6.3 融入词向量层的多层感知器
4.6.4 数据处理
4.6.5 多层感知器模型的训练与测试
4.6.6 基于卷积神经网络的情感分类
4.6.7 基于循环神经网络的情感分类
4.6.8 基于Transformer的情感分类
4.7 词性标注实战
4.7.1 基于前馈神经网络的词性标注
4.7.2 基于循环神经网络的词性标注
4.7.3 基于Transformer的词性标注
4.8 小结
第5章 静态词向量预训练模型
5.1 神经网络语言模型
5.1.1 概述
5.1.2 预训练任务
5.1.3 模型实现
5.2 Word2vec词向量
5.2.1 概述
5.2.2 负采样
5.2.3 模型实现
5.3 GloVe词向量
5.3.1 概述
5.3.2 预训练任务
5.3.3 参数估计
5.3.4 模型实现
5.4 评价与应用
5.4.1 词义相关性
5.4.2 类比性
5.4.3 应用
5.5 小结
第6章 动态词向量预训练模型
6.1 词向量——从静态到动态
6.2 基于语言模型的动态词向量预训练
6.2.1 双向语言模型
6.2.2 ELMo词向量
6.2.3 模型实现
6.2.4 应用与评价
6.3 小结
第7章 预训练语言模型
7.1 概述
7.1.1 大数据
7.1.2 大模型
7.1.3 大算力
7.2 GPT
7.2.1 无监督预训练
7.2.2 有监督下游任务精调
7.2.3 适配不同的下游任务
7.3 BERT
7.3.1 整体结构
7.3.2 输入表示
7.3.3 基本预训练任务
7.3.4 更多预训练任务
7.3.5 模型对比
7.4 预训练语言模型的应用
7.4.1 概述
7.4.2 单句文本分类
7.4.3 句对文本分类
7.4.4 阅读理解
7.4.5 序列标注
7.5 深入理解BERT
7.5.1 概述
7.5.2 自注意力可视化分析
7.5.3 探针实验
7.6 小结
第8章 预训练语言模型进阶
8.1 模型优化
8.1.1 XLNet
8.1.2 RoBERTa
8.1.3 ALBERT
8.1.4 ELECTRA
8.1.5 MacBERT
8.1.6 模型对比
8.2 长文本处理
8.2.1 概述
8.2.2 Transformer-XL
8.2.3 Reformer
8.2.4 Longformer
8.2.5 BigBird
8.2.6 模型对比
8.3 模型蒸馏与压缩
8.3.1 概述
8.3.2 DistilBERT
8.3.3 TinyBERT
8.3.4 MobileBERT
8.3.5 TextBrewer
8.4 生成模型
8.4.1 BART
8.4.2 UniLM
8.4.3 T5
8.4.4 GPT-3
8.4.5 可控文本生成
8.5 小结
第9章 多模态融合的预训练模型
9.1 多语言融合
9.1.1 多语言BERT
9.1.2 跨语言预训练语言模型
9.1.3 多语言预训练语言模型的应用
9.2 多媒体融合
9.2.1 VideoBERT
9.2.2 VL-BERT
9.2.3 DALL·E
9.2.4 ALIGN
9.3 异构知识融合
9.3.1 融入知识的预训练
9.3.2 多任务学习
9.4 更多模态的预训练模型
9.5 小结
参考文献
术语表
自然语言处理：基于预训练模型的方法是2021年由电子工业出版社出版,作者车万翔。
得书感谢您对《自然语言处理：基于预训练模型的方法》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
