内容提要

迁移学习作为机器学习和人工智能领域的重要方法，在计算机视觉、自然语言处理（NLP）、语音识别等领域都得到广泛应用。本书是迁移学习技术的实用入门图书，能够带领读者深入实践自然语言处理模型。首先，本书回顾了机器学习中的关键概念，并介绍了机器学习的发展历史，以及NLP迁移学习的进展；其次，深入探讨了一些重要的NLP迁移学习方法——NLP浅层迁移学习和NLP深度迁移学习；最后，涵盖NLP迁移学习领域中最重要的子领域——以Transformer作为关键功能的深度迁移学习技术。读者可以动手将现有的先进模型应用于现实世界的应用程序，包括垃圾电子邮件分类器、IMDb电影评论情感分类器、自动事实检查器、问答系统和翻译系统等。

本书文字简洁、论述精辟、层次清晰，既适合拥有NLP基础的机器学习和数据科学相关的开发人员阅读，也适合作为高等院校计算机及相关专业的学生参考用书。

推荐语

这本书对NLP背景下的迁移学习做了精彩阐述。内容深入浅出，案例丰富，值得深入阅读。迁移学习本质上是知识、算力的复用。在目标检测、模式识别、NLP等领域，迁移学习大有可为。

迁移学习是近几年NLP领域最重要的研究方向之一。这本书以实例和代码的形式对NLP迁移学习的基本概念、业务应用以及发展方向做了详细介绍。这本书介绍的多个先进模型和算法在业务实践中都得到广泛应用。对想了解NLP迁移学习并在实际工作中落地的研究人员来说，这是一本很好的参考书。

迁移学习技术在感知类机器学习场景取得了长足的进步，尤其是BERT系列的预训练模型将NLP领域的基线提升到新的高度。这本书系统、全面且贴合实际地介绍了这个高速发展的主题，值得NLP领域的工程师深入阅读和探究。

迁移学习是机器学习领域一次革命性的技术突破，特别是在NLP领域取得了令人振奋的成就。同时，我们相信迁移学习深刻的思想也会应用到其他领域，并且取得不错的成绩。推荐机器学习相关领域的工程师阅读这本书，保持对迁移学习的持续关注。

这本书对迁移学习的理论给出了全面且翔实的介绍，可以帮助读者建立清晰的认知。更为难得的是，这本书以实际的业务问题作为驱动，引领读者阅读和学习。推荐给NLP领域的相关工程师。

推荐序

迁移学习，顾名思义，就是将某个领域获得的知识调整或迁移到另一个领域，也就是我们常说的“举一反三，触类旁通”。人类对迁移学习的理论性研究要追溯到1901年。当时心理学家桑代克和伍德沃思提出了学习迁移（transfer of learning）的概念，并研究了人们学习某个新的概念时怎样对学习其他概念产生迁移。这对后来教育学的发展产生了重要影响。

随着人工智能浪潮的兴起，人们开始思索把学习迁移的思想应用到机器学习中。传统的机器学习，尤其是有监督学习，对数据的样本数量、数据分布的统一性、标签的完整性等都有着严苛的要求，而迁移学习解决的正是在机器学习任务中面对样本不足、标签不全等情况时，如何借助外部服从其他分布的数据来有效地学习这一问题。20世纪90年代以来，大量研究都涉及迁移学习的概念，如自主学习、终生学习、多任务学习、知识迁移等，但是这些研究都没有形成完整的体系。直到2010年，迁移学习的首个形式化定义正式提出，由此，迁移学习成为机器学习中一个重要的分支领域。近些年来，深度迁移学习，尤其是其在NLP领域的建树让我们看到了迁移学习非凡的潜力。

学术界将要进行迁移学习的原因总结为3个方面。其一是大数据与少标注之间的矛盾。我们所处的“大数据时代”每时每刻产生着海量的数据，但是这些数据缺乏完善的数据标注，而机器学习模型的训练和更新都依赖于数据的标注，但目前只有很少的数据被标注和利用，这给机器学习和深度学习的模型训练与更新带来了挑战。其二是大数据与弱计算之间的矛盾。海量的数据需要具有强计算能力的设备进行存储和计算，而具有强计算能力的设备通常是非常昂贵的，此外使用海量数据来训练模型是非常耗时的，这就导致了大数据与弱计算之间的矛盾。其三是普适化模型与个性化需求之间的矛盾。机器学习的目的是构建尽可能通用的模型来满足不同用户、不同设备、不同环境的不同需求，这就要求模型有较高的泛化能力，但是普适化的通用模型无法满足个性化、差异化的需求。