编辑推荐
适读人群 :1.高校人工智能等相关专业方向的本科生和研究生;2.深度学习/机器学习/AI算法/自然语言处理工程师;3.从事机器学习和自然语言处理研究的专业人员;4.其他对深度学习和神经网络感兴趣的人员。
1)复旦大学邱锡鹏教授基于优秀科研和教学实践,历时5年时间静心写作、不断完善,深受好评的深度学习讲义“蒲公英书”正式版!
2)字节跳动AI实验室主任李航、南京大学周志华教授、复旦大学吴立德教授强力推荐。
3)系统整理深度学习的知识体系,从机器学习基础、神经网络模型以及概率图模型三个层面来串联深度学习所涉及的知识点,兼具系统性、条理性和全面性。
4)适合自学与入门。在网站上配套了教学PPT以及针对每章知识点的编程练习,理论和实践结合,加深读者对知识的理解,并提高问题求解能力。
5)内容安排由浅入深,语言表达通俗易懂,排版布局图文并茂,全彩印刷装帧精美。
“蒲公英书”的由来:
在封面上专门设计了蒲公英图案,寓意是希望这本教材能够帮助更多的学生进入深度学习以及人工智能领域,他们会为人工智能领域注入新的生机与活力。
——邱锡鹏
内容简介
本书是深度学习领域的入门教材,系统地整理了深度学习的知识体系,并由浅入深地阐述了深度学习的原理、模型以及方法,使得读者能全面地掌握深度学习的相关知识,并提高以深度学习技术来解决实际问题的能力。
全书共15章,分为三个部分。
·第一部分为机器学习基础:第1章是绪论,介绍人工智能、机器学习、深度学习的概要,使读者全面了解相关知识;第2~3章介绍机器学习的基础知识。
·第二部分是基础模型:第4~6章分别讲述三种主要的神经网络模型:前馈神经网络、卷积神经网络和循环神经网络;第7章介绍神经网络的优化与正则化方法;第8章介绍神经网络中的注意力机制和外部记忆;第9章简要介绍一些无监督学习方法;第10章介绍一些模型独立的机器学习方法,包括集成学习、自训练、协同训练、多任务学习、迁移学习、终身学习、元学习等。
·第三部分是进阶模型:第11章介绍概率图模型的基本概念,为后面的章节进行铺垫;第12章介绍两种早期的深度学习模型:玻尔兹曼机和深度信念网络;第13章介绍深度生成模型,包括变分自编码器和生成对抗网络;第14章介绍深度强化学习;第15章介绍应用十分广泛的序列生成模型。
本书可作为高等院校人工智能、计算机、自动化、电子和通信等相关专业的研究生或本科生教材,也可供相关领域的研究人员和工程技术人员参考。
本书还配备了教学PPT、编程练习以及课后习题的讨论,
获取方式:
1.微信关注“华章计算机”(微信号:hzbook_jsj)
2.在后台回复关键词:蒲公英书
作者简介
邱锡鹏
复旦大学计算机科学技术学院教授、博士生导师,于复旦大学获得理学学士和博士学位。主要研究领域包括自然语言处理、机器学习、深度学习等,在相关领域的权威国际期刊、会议上发表学术论文60余篇,获得计算语言学国际会议ACL 2017杰出论文奖、全国计算语言学会议CCL 2019最佳论文奖,2015年入选首届中国科协青年人才托举工程,2018年获得中国中文信息学会“钱伟长中文信息处理科学技术奖青年创新一等奖”,入选由“清华—中国工程院知识智能联合研究中心和清华大学人工智能研究院”联合发布的2020年人工智能(AI)全球具影响力学者提名。该排名参考过去十年人工智能各子领域最有影响力的会议和期刊发表论文的引用情况,排名前10的学者当选该领域当年影响力学者奖,排名前100的其他学者获影响力学者提名奖。作为项目负责人开源发布了两个自然语言处理开源系统FudanNLP和FastNLP,获得了学术界和产业界的广泛使用。目前担任中国中文信息学会青年工作委员会执行委员、计算语言学专委会委员、语言与知识计算专委会委员,中国人工智能学会青年工作委员会常务委员、自然语言理解专委会委员。
章节目录
序
前言
常用符号表
第1章绪论3
1.1人工智能...............................4
1.2机器学习...............................7
1.3表示学习...............................8
1.4深度学习...............................11
1.5神经网络...............................13
1.6本书的知识体系...........................17
1.7常用的深度学习框架.........................18
1.8总结和深入阅读...........................20
第2章机器学习概述23
2.1基本概念...............................24
2.2机器学习的三个基本要素......................26
2.3机器学习的简单示例——线性回归.................33
2.4偏差-方差分解............................38
2.5机器学习算法的类型.........................41
2.6数据的特征表示...........................43
2.7评价指标...............................46
2.8理论和定理..............................49
2.9总结和深入阅读...........................51
第3章线性模型
3.1线性判别函数和决策边界......................56
3.2Logistic回归.............................59
3.3Softmax回归.............................61
3.4感知器.................................64
3.5支持向量机..............................71
3.6损失函数对比.............................75
3.7总结和深入阅读...........................76
第二部分基础模型
第4章前馈神经网络81
4.1神经元.................................82
4.1.1Sigmoid型函数.......................83
4.1.2ReLU函数..........................86
4.1.3Swish函数..........................88
4.1.4GELU函数..........................89
4.1.5Maxout单元.........................89
4.2网络结构...............................90
4.3前馈神经网络.............................91
4.4反向传播算法.............................95
4.5自动梯度计算.............................98
4.6优化问题...............................103
4.7总结和深入阅读...........................104
第5章卷积神经网络109
5.1卷积..................................110
5.2卷积神经网络.............................115
5.3参数学习...............................120
5.4几种典型的卷积神经网络......................121
5.5其他卷积方式.............................127
5.6总结和深入阅读...........................130
第6章循环神经网络133
6.1给网络增加记忆能力.........................134
6.2简单循环网络.............................135
6.3应用到机器学习...........................138
6.4参数学习...............................140
6.5长程依赖问题.............................143
6.5.1改进方案...........................144
6.6基于门控的循环神经网络......................145
6.7深层循环神经网络..........................149
6.8扩展到图结构.............................151
6.9总结和深入阅读...........................153
第7章网络优化与正则化157
7.1网络优化...............................157
7.2优化算法...............................160
7.3参数初始化..............................171
7.4数据预处理..............................176
7.5逐层归一化..............................178
7.6超参数优化..............................183
7.7网络正则化..............................186
7.8总结和深入阅读...........................192
第8章注意力机制与外部记忆197
8.1认知神经学中的注意力.......................198
8.2注意力机制..............................199
8.3自注意力模型.............................203
8.4人脑中的记忆.............................205
8.5记忆增强神经网络..........................207
8.6基于神经动力学的联想记忆.....................211
8.6.1Hopfiel网络........................212
8.7总结和深入阅读...........................215
第9章无监督学习219
9.1无监督特征学习...........................220
9.2概率密度估计.............................227
9.3总结和深入阅读...........................232
第10章模型独立的学习方式235
10.1集成学习...............................235
10.1.1AdaBoost算法........................237
10.2自训练和协同训练..........................240
10.3多任务学习..............................242
10.4迁移学习...............................245
10.5终身学习...............................249
10.6元学习.................................252
10.7总结和深入阅读...........................255
第三部分进阶模型
第11章概率图模型261
11.1模型表示...............................262
11.2学习..................................271
11.3推断..................................279
11.4变分推断...............................283
11.5基于采样法的近似推断.......................285
11.6总结和深入阅读...........................292
第12章深度信念网络297
12.1玻尔兹曼机..............................297
12.2受限玻尔兹曼机...........................304
12.3深度信念网络.............................309
12.4总结和深入阅读...........................313
第13章深度生成模型317
13.1概率生成模型.............................318
13.2变分自编码器.............................319
13.3生成对抗网络.............................327
13.3.1显式密度模型和隐式密度模型...............327
13.3.2网络分解...........................327
13.3.3训练..............................329
13.3.4一个生成对抗网络的具体实现:DCGAN..........330
13.3.5模型分析...........................330
13.3.6改进模型...........................333
13.4总结和深入阅读...........................336
第14章深度强化学习339
14.1强化学习问题.............................340
14.1.1典型例子...........................340
14.1.2强化学习定义........................340
14.1.3马尔可夫决策过程......................341
14.1.4强化学习的目标函数....................343
14.1.5值函数............................344
14.1.6深度强化学习........................345
14.2基于值函数的学习方法.......................346
14.2.1动态规划算法........................346
14.2.2蒙特卡罗方法........................349
14.2.3时序差分学习方法......................350
14.2.4深度Q网络..........................353
14.3基于策略函数的学习方法......................354
14.3.1REINFORCE算法......................356
14.3.2带基准线的REINFORCE算法...............356
14.4演员-评论员算法...........................358
14.5总结和深入阅读...........................360
第15章序列生成模型365
15.1序列概率模型.............................366
15.1.1序列生成...........................367
15.2N元统计模型.............................368
15.3深度序列模型.............................370
15.3.1模型结构...........................370
15.3.2参数学习...........................373
15.4评价方法...............................373
15.4.1困惑度............................373
15.4.2BLEU算法..........................374
15.4.3ROUGE算法.........................375
15.5序列生成模型中的学习问题.....................375
15.5.1曝光偏差问题........................376
15.5.2训练目标不一致问题....................377
15.5.3计算效率问题........................377
15.6序列到序列模型...........................385
15.6.1基于循环神经网络的序列到序列模型...........386
15.6.2基于注意力的序列到序列模型...............387
15.6.3基于自注意力的序列到序列模型..............388
15.7总结和深入阅读...........................390
附录数学基础393
附录A线性代数394
附录B微积分404
附录C数学优化413
附录D概率论420
附录E信息论433
索引439
神经网络与深度学习是2020年由机械工业出版社出版,作者邱锡鹏。
得书感谢您对《神经网络与深度学习》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。