编辑推荐
本书全面呈现深度学习基础理论、经典方法、实用技术与最新趋势。
内容简介
本书根据深度学习技术发展速度快、理论性与实践性强、应用广泛等特点，结合教学、科研及应用需求，坚持“原理、技术、应用”三位一体原则，注重基础性、系统性、前沿性和实用性的统一，对深度学习的最新方法与研究趋势进行全面深入的研究和探索。
全书分成四部分：第一部分是人工智能基础，重点阐述人工智能的概念、发展历史和发展趋势等；第二部分是深度学习基础，包括机器学习基础理论、深度学习基础、深度学习网络的优化方法和技巧；第三部分是经典神经网络技术，包括卷积神经网络、循环神经网络、神经网络的区分性训练、序列到序列建模；第四部分是高级深度学习技术，包括自编码器、迁移学习、生成对抗网络、终身学习、深度强化学习、元学习、自监督学习等。
本书在深入浅出的讲解中将最新理论成果与实际问题解决过程相结合，培养学生的创新思维和解决复杂工程问题能力，适用于人工智能、网络安全、通信工程、信息工程等专业高年级本科生、研究生教学，可作为人工智能相关领域的科研人员、工程师的重要参考书。
作者简介
编者屈丹，信息工程大学人工智能教研室副主任、教授、博士生导师，视听感知与语言认知方向学术带头人，国家科技部、国家自然科学基金委评审专家，省部级智能语音处理领域专家组副组长。
从事人工智能与机器学习理论、语音处理与识别、自然语言理解、计算机视觉等领域教学科研工作。承担“人工智能导论”“机器学习”“深度学习”“自然语言理解”“语音处理与识别”等课程教学任务，主持国家863课题、国家自然科学基金、国家社会科学基金、省部级重点预研等科研项目20余项。获得省部级科技进步二等奖4项、三等奖1项，发表学术论文110篇，被三大检索收录60篇。申请国家发明专利、软件著作权近20项，出版专著教材6部。三次获得军队人才岗位津贴，荣立三等功2次。
章节目录
版权信息
内容简介
推荐序
前言
第1章 人工智能技术概览
1.1 人工智能的概念
1.1.1 智能的基本概念
1.1.2 人类智能的度量
1.1.3 人工智能的概念
1.2 人工智能的发展历程
1.2.1 人工智能诞生前的50年
1.2.2 人工智能发展的第一阶段
1.2.3 人工智能发展的第二阶段
1.2.4 人工智能发展的第三阶段
1.3 人工智能的学术流派
1.3.1 戴维·阿兰格里尔的学术流派划分
1.3.2 佩德罗·多明戈斯的学术流派划分
1.3.3 人工智能学术流派的重新划分
1.4 人工智能的未来发展
1.4.1 无监督学习、元学习正在突破通用智能
1.4.2 实时强化学习技术趋于成熟
1.4.3 可解释性知识推理技术成为研究重点
1.4.4 开放式持续学习技术受到广泛关注
1.4.5 不同流派人工智能技术融合认知开辟新的技术路径
1.4.6 应用场景朝小数据量、恶劣环境、非完整数据方向发展
1.5 本章小结
参考文献
第2章 机器学习理论基础
2.1 机器学习基本概念
2.1.1 学习与机器学习
2.1.2 机器学习的分类
2.1.3 感知机及其学习算法
2.2 可能近似正确学习理论
2.2.1 机器学习的不可行性
2.2.2 概率近似正确学习理论
2.3 VC维理论
2.3.1 假设的有效数量
2.3.2 突破点
2.3.3 上限函数
2.3.4 VC维
2.4 三个最基本机器学习模型
2.4.1 线性分类
2.4.2 线性回归
2.4.3 逻辑回归
2.4.4 三种基本机器学习算法对比分析
2.5 本章小结
参考文献
第3章 深度学习基础
3.1 深度学习的基本定义和特点
3.1.1 神经元与生物神经网络
3.1.2 人工神经元及其分类能力
3.1.3 单隐含层神经网络的能力
3.1.4 深度学习
3.2 深度学习网络设计的三个核心问题
3.2.1 定义网络结构
3.2.2 目标函数选择
3.2.3 优化算法选择
3.3 后向传播算法
3.3.1 输出端的损失梯度
3.3.2 隐含层的损失梯度
3.3.3 神经网络参数的损失梯度
3.3.4 算法整理流图
3.4 本章小结
参考文献
第4章 深度学习网络优化技巧
4.1 深度学习网络优化学习
4.1.1 定义网络结构
4.1.2 目标函数选择
4.1.3 优化算法选择
4.1.4 深度学习算法检查
4.2 新激活函数选择
4.2.1 梯度消失问题
4.2.2 ReLU函数
4.2.3 ReLU函数的变形
4.2.4 其他激活函数
4.3 优化算法
4.3.1 基本优化算法
4.3.2 梯度方向调整优化算法
4.3.3 自适应学习率
4.3.4 步长和方向联合优化算法
4.4 测试集性能优化技巧
4.4.1 提前终止策略
4.4.2 正则化
4.4.3 丢弃法
4.5 本章小结
参考文献
第5章 卷积神经网络
5.1 卷积神经网络概述
5.1.1 卷积神经网络的历史
5.1.2 卷积神经网络的结构
5.2 卷积神经网络与全连接网络的关系
5.2.1 连接稀疏性
5.2.2 参数共享机制
5.3 典型的卷积神经网络
5.3.1 LeNet-5网络
5.3.2 AlexNet网络
5.3.3 ZFNet网络
5.3.4 VGGNet网络
5.3.5 GoogLeNet网络
5.3.6 残差网络
5.3.7 挤压激励网络
5.3.8 区域卷积神经网络及其拓展版本
5.4 本章小结
参考文献
本章知识点补充
第6章 循环神经网络
6.1 循环神经网络的引入
6.2 循环神经网络的结构
6.3 循环神经网络的训练
6.3.1 循环神经网络的前向传播
6.3.2 循环神经网络的依时间反向传播
6.3.3 循环神经网络的梯度消失与梯度爆炸问题
6.4 长短时记忆单元与门循环单元
6.4.1 长短时记忆单元
6.4.2 门循环单元
6.5 循环神经网络的扩展
6.5.1 深层循环神经网络
6.5.2 双向循环神经网络
6.6 循环神经网络的应用
6.6.1 多到一模式
6.6.2 一到多模式
6.6.3 同步多到多模式
6.6.4 异步多到多模式
6.7 本章小结
参考文献
第7章 神经网络的区分性训练
7.1 最小交叉熵与最大似然估计
7.2 区分性训练准则
7.3 序列模型的区分性训练
7.3.1 最大互信息准则
7.3.2 增强型MMI
7.3.3 最小音素错误／状态级最小贝叶斯风险
7.3.4 序列区分性训练准则的一般形式
7.4 序列区分性训练准则应用实例
7.4.1 基于词图的序列区分性训练
7.4.2 词图无关的序列区分性训练
7.5 本章小结
参考文献
第8章 序列到序列模型
8.1 序列到序列模型基本原理
8.1.1 序列到序列模型的引入
8.1.2 序列到序列模型构成
8.2 连续时序分类准则
8.2.1 连续时序分类准则定义
8.2.2 连续时序分类准则的解码
8.3 注意力模型
8.3.1 注意力模型定义与原理
8.3.2 自注意力机制
8.4 Transformer模型
8.4.1 Transformer模型组成
8.4.2 Transformer模型的核心技术
8.5 BERT模型与GPT模型
8.5.1 BERT模型
8.5.2 GPT模型
8.5.3 与其他模型异同点分析
8.6 后BERT模型时代的新模型算法
8.6.1 XLNet模型及原理
8.6.2 ERNIE模型及原理
8.6.3 ALBERT模型及原理
8.7 序列到序列模型的应用
8.8 本章小结
参考文献
第9章 自编码器
9.1 自编码器的定义与基本原理
9.1.1 自编码器的通用框架
9.1.2 栈式自编码器
9.2 正则自编码器
9.2.1 稀疏自编码器
9.2.2 降噪自编码器
9.2.3 收缩自编码器
9.3 变分自编码器
9.3.1 目标函数
9.3.2 优化过程
9.3.3 条件变分自编码器
9.4 VAE的改进算法
9.4.1 beta-VAE
9.4.2 info-VAE
9.5 对抗自编码器
9.5.1 AAE与VAE
9.5.2 intro-VAE
9.6 本章小结
参考文献
第10章 迁移学习
10.1 迁移学习的基本原理
10.1.1 迁移学习的定义
10.1.2 迁移学习的分类
10.1.3 迁移学习的意义
10.2 基于特征的迁移学习
10.2.1 分布差异矩阵
10.2.2 特征增强
10.2.3 特征映射
10.2.4 特征选择
10.2.5 特征对齐
10.2.6 基于深度学习的特征迁移
10.3 基于模型的迁移学习
10.3.1 深度网络的可迁移性
10.3.2 基于KL散度的迁移学习
10.3.3 基于知识蒸馏的迁移学习
10.4 基于样例的迁移学习
10.5 迁移学习前沿
10.5.1 混合智能迁移学习
10.5.2 传递式迁移学习
10.5.3 终身迁移学习
10.5.4 对抗迁移学习
10.5.5 迁移强化学习
10.5.6 迁移学习的可解释性
10.6 本章小结
参考文献
第11章 终身学习
11.1 终身学习原理
11.1.1 终身学习的定义
11.1.2 DARPA的L2M项目
11.1.3 终身学习的关键问题
11.2 深度学习与终身学习
11.2.1 生物学依据
11.2.2 现有方法的分类
11.3 弹性权值巩固
11.3.1 EWC中的贝叶斯理论
11.3.2 EWC的目标函数
11.3.3 参数重要性的估计
11.4 自组织增量学习神经网络
11.4.1 自组织映射
11.4.2 自组织增量学习神经网络
11.4.3 算法优、缺点
11.5 梯度情景记忆
11.5.1 知识的前向迁移与后向迁移
11.5.2 情景记忆损失函数
11.5.3 模型求解
11.6 本章小结
参考文献
第12章 生成对抗网络
12.1 生成对抗网络引入
12.1.1 无监督学习与生成模型
12.1.2 生成对抗网络简介
12.2 生成对抗网络的基本原理
12.3 生成对抗网络训练过程的数学推导
12.3.1 最大似然估计
12.3.2 生成对抗网络的训练准则函数
12.3.3 生成对抗网络的训练过程
12.4 生成对抗网络的工程实现及主要问题
12.4.1 生成对抗网络的工程实现
12.4.2 生成对抗网络的工程实现中的问题
12.5 GAN的变体
12.5.1 WGAN
12.5.2 条件GAN
12.5.3 CycleGAN
12.5.4 InfoGAN
12.5.5 BiGAN
12.6 本章小结
参考文献
第13章 深度强化学习
13.1 强化学习基本概念与原理
13.2 强化学习的数学模型、求解框架及分类
13.2.1 马尔可夫决策过程
13.2.2 值函数与策略函数
13.2.3 策略迭代与值迭代求解框架
13.2.4 强化学习的分类
13.3 基于值函数的深度强化学习
13.3.1 深度Q网络算法
13.3.2 DQN算法的变种
13.4 基于策略函数的深度强化学习
13.5 基于参与者-评价者的深度强化学习
13.5.1 A2C与A3C算法
13.5.2 PPO算法
13.6 本章小结
参考文献
第14章 元学习
14.1 元学习的定义及原理
14.1.1 元学习的定义
14.1.2 元学习系统的组成
14.1.3 元学习的主要现状
14.2 模型无关的元学习方法
14.2.1 相关概念
14.2.2 MAML算法原理
14.2.3 MAML算法流程
14.2.4 MAML算法具体实现
14.3 一阶模型无关元学习方法Reptile
14.3.1 Reptile算法的基本原理
14.3.2 Reptile算法理论分析
14.4 自适应梯度更新规则元学习方法
14.4.1 简单LSTM方法
14.4.2 复杂LSTM方法
14.5 度量元学习方法
14.5.1 匹配网络
14.5.2 原型网络
14.5.3 关系网络
14.6 本章小结
参考文献
第15章 自监督学习
15.1 自监督学习的基本原理
15.1.1 自监督学习的定义
15.1.2 自监督学习的分类
15.2 对比式自监督学习
15.2.1 模型坍塌问题
15.2.2 有负例的对比学习
15.2.3 无负例的对比学习
15.3 基于对比预测的自监督语音表示学习
15.3.1 对比预测编码
15.3.2 wav2vec系列
15.3.3 HuBERT系列
15.4 自监督学习中的关键科学问题
15.4.1 任务相关表示学习
15.4.2 模型轻量化
15.5 本章小结
参考文献
实用深度学习基础是2022年由清华大学出版社出版,作者屈丹 主编。
得书感谢您对《实用深度学习基础》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
