第一篇

卷积神经网络

“虽然没有人这样说，但我认为人工智能几乎是一门人文学科，是一种试图理解人类智力和人类认知的尝试。”

——Sebastian Thrun

内容提要

本书通过扎实、详细的内容和清晰的结构，从算法理论、算法源码、实验结果等方面对深度学习算法进行分析和介绍。本书共三篇，第一篇主要介绍深度学习在计算机视觉方向的一些卷积神经网络，从基础骨干网络、轻量级CNN、模型架构搜索3个方向展开，介绍计算机视觉方向的里程碑算法；第二篇主要介绍深度学习在自然语言处理方向的重要突破，包括基础序列模型和模型预训练；第三篇主要介绍深度学习在模型优化上的进展，包括模型优化方法。

通过阅读本书，读者可以深入理解主流的深度学习基础算法，搭建起自己的知识体系，领会算法的本质，学习模型优化方法。无论是从事深度学习科研的教师及学生，还是从事算法落地实践的工作人员，都能从本书中获益。

谨以此书献给生命中的亲人和挚友

序1

假如问近10年来计算机技术领域最热门的方向是什么，人工智能一定是候选之一。从1969年马文•明斯基成为第一位人工智能方向的图灵奖获得者，到2018年3位学者因在深度学习方向的贡献共同获得图灵奖，人工智能方向已经七获图灵奖。近年来，在人工智能上升为国家战略，并被广泛使用的大背景下，众多高校开设了诸如大数据、深度学习、数据挖掘等人工智能学科；诸多企业也开始使用人工智能赋能企业运营，为企业提供智能化支撑，助力企业实现降本增效，人工智能技术能力俨然成为衡量一个企业的核心实力的重要指标之一。

我们正处在一个信息化和智能化交互的时代，人工智能、物联网、区块链、元宇宙等技术创新，既是技术发展的阶段性成果，也是开启智能化时代的重要助推器。更重要的是，它们正在相互促进，共同发展。人工智能的发展经历了机器定理、专家系统的两次热潮和低谷。如今，我们正处在以深度学习为代表的第三次人工智能热潮中，并且人工智能正深刻改变着我们的生活。创新工场CEO李开复先生曾提出过著名的“五秒钟原则”：一项本来由人从事的工作，如果人可以在5秒以内对工作中需要思考和决策的问题作出相应决定，那么这项工作就有非常大的可能被人工智能技术全部或部分取代。人工智能为经济生活带来了颠覆性改变，这可能会造成部分岗位的消失，但它更多的是引发了工作性质的变革，所以能否掌握这门技术，在第三次人工智能浪潮中占得先机，决定了一个企业和个人的实力与前景。在人工智能的步步紧逼下，你究竟是在焦虑还是已经看到了其中潜在的机遇，并积极地接受变革呢？

如果你已经准备好迎接到来的第三次人工智能浪潮，那么本书是你不能错过的一本读物。本书全面且系统地梳理了近10年来的深度学习算法，并集结成册。本书结构清晰，内容丰富，包含了作者对深度学习深刻且独到的见解。在本书中，作者将深度学习的几十篇具有里程碑意义的论文整理成卷积神经网络、自然语言处理和模型优化3个主要方向，又对每个方向的重要算法做了深入浅出的讲解和分析。对比业内同类书籍，本书将深度学习算法的讲解提升到了一个新的高度，是你深入了解深度学习的不二之选。总之，本书极具价值，值得每一位深度学习方向的从业者、研究者和在校学生阅读和学习。

颜伟鹏

京东集团副总裁、京东零售技术委员会主席

序2

在古希腊时期，人类就梦想着创造能自主思考的机器。如今，人工智能已经成为一个活跃的研究课题和一门在诸多场景落地的技术。在人工智能发展的早期阶段，它更擅长解决可具象化为数学规则的问题，而人工智能的真正挑战在于解决那些对人来说很容易执行但非常难以描述为具体规则的问题，这就是深度学习的诞生动机。深度学习是人工智能的一个重要分支，它以大数据为基础，以数理统计为理论框架，涵盖了计算机视觉、自然语言处理、语音识别、图深度学习、强化学习等不同方向。于2012年提出的AlexNet开启了深度学习蓬勃发展的10年。2022年的1月3日，著名论文预印本平台arXiv的论文数量突破了200万篇，其中不乏残差网络、Transformer、GAN等引用量达到数万乃至数十万的经典算法论文。深度学习崛起近10年，我们有必要对深度学习近10年的发展做一些梳理和总结。