深入浅出Embedding:原理解析与应用实践

深入浅出Embedding:原理解析与应用实践

查阅电子书
手机扫码
  • 微信扫一扫

    关注微信公众号

因版权原因待上架

编辑推荐

本书从技术和应用两个维度对Embedding进行了全面的讲解。

内容简介

在内容方面,全书理论与实操兼顾,一方面系统讲解了Embedding的基础、技术、原理、方法和性能优化,一方面详细列举和分析了Embedding在机器学习性能提升、中英文翻译、推荐系统等6个重要场景的应用实践;在写作方式上,秉承复杂问题简单化的原则,尽量避免复杂的数学公式,尽量采用可视化的表达方式,旨在降低本书的学习门槛,让读者能看得完、学得会。

全书一共16章,分为两个部分,第1部分(第1~9章)Embedding理论知识,主要讲解Embedding的基础知识、原理以及如何让Embedding落地的相关技术,如TensorFlow和PyTorch中的Embedding层、CNN算法、RNN算法、迁移学习方法等,重点介绍了Transformer和基于它的GPT、BERT预训练模型及BERT的多种改进版本等。

第二部分(第10~16章)Embedding应用实例,通过6个实例介绍了Embedding及相关技术的实际应用,包括如何使用Embedding提升传统机器学习性,如何把Embedding技术应用到推荐系统中,如何使用Embedding技术提升NLP模型的性能等。

作者简介

作者吴茂贵,资深BI和大数据专家,在BI、数据挖掘与分析、数据仓库、机器学习等领域有超过20年的工作经验,在Spark机器学习、TensorFlow深度学习领域有大量的实践经验。

章节目录

版权信息

前言

第一部分 Embedding基础知识

第1章 万物皆可嵌入

1.1 处理序列问题的一般步骤

1.2 Word Embedding

1.3 Item Embedding

1.4 用Embedding处理分类特征

1.5 Graph Embedding

1.6 Contextual Word Embedding

1.7 使用Word Embedding实现中文自动摘要

1.8 小结

第2章 获取Embedding的方法

2.1 使用PyTorch的Embedding Layer

2.2 使用TensorFlow 2.0的Embedding Layer

2.3 从预训练模型获取Embedding

2.4 小结

第3章 计算机视觉处理

3.1 卷积神经网络

3.2 使用预训练模型

3.3 获取预训练模型

3.4 使用PyTorch实现数据迁移实例

3.5 小结

第4章 文本及序列处理

4.1 循环网络的基本结构

4.2 构建一些特殊模型

4.3 小结

第5章 注意力机制

5.1 注意力机制概述

5.2 带注意力机制的Encoder-Decoder模型

5.3 可视化Transformer

5.4 使用PyTorch实现Transformer

5.5 Transformer-XL

5.6 使用PyTorch构建Transformer-XL

5.7 Reformer

5.8 小结

第6章 从Word Embedding到ELMo

6.1 从word2vec到ELMo

6.2 可视化ELMo原理

6.3 小结

第7章 从ELMo到BERT和GPT

7.1 ELMo的优缺点

7.2 可视化BERT原理

7.3 使用PyTorch实现BERT

7.4 可视化GPT原理

7.5 GPT-3简介

7.6 小结

第8章 BERT的优化方法

8.1 可视化XLNet原理

8.2 ALBERT方法

8.3 ELECTRA方法

8.4 小结

第9章 推荐系统

9.1 推荐系统概述

9.2 协同过滤

9.3 深度学习在推荐系统中的应用

9.4 小结

第二部分 Embedding应用实例

第10章 用Embedding表现分类特征

10.1 项目背景

10.2 TensorFlow 2详细实现

10.3 小结

第11章 用Embedding提升机器学习性能

11.1 项目概述

11.2 使用Embedding提升神经网络性能

11.3 构建XGBoost模型

11.4 使用Embedding数据的XGBoost模型

11.5 可视化Embedding数据

11.6 小结

第12章 用Transformer实现英译中

12.1 TensorFlow 2+实例概述

12.2 预处理数据

12.3 构建Transformer模型

12.4 定义损失函数

12.5 定义优化器

12.6 训练模型

12.7 评估预测模型

12.8 可视化注意力权重

12.9 小结

第13章 Embedding技术在推荐系统中的应用

13.1 Embedding在Airbnb推荐系统中的应用

13.2 Transformer在阿里推荐系统中的应用

13.3 BERT在美团推荐系统中的应用

13.4 小结

第14章 用BERT实现中文语句分类

14.1 背景说明

14.2 可视化BERT注意力权重

14.3 用BERT预训练模型微调下游任务

14.4 训练模型

14.5 测试模型

14.6 小结

第15章 用GPT-2生成文本

15.1 GPT-2概述

15.2 用GPT-2生成新闻

15.3 微调GPT-2生成戏剧文本

15.4 小结

第16章 Embedding技术总结

16.1 Embedding技术回顾

16.2 Embedding技术展望

16.3 小结

附录A 基于GPU的TensorFlow 2+、PyTorch 1+升级安装

A.1 环境分析

A.2 参考资料

A.3 安装的准备工作

A.4 升级GPU驱动

A.5 安装Python 3.7

A.6 安装TensorFlow-GPU 2.0

A.7 Jupyter Notebook的配置

A.8 安装验证

A.9 TensorFlow一般方式处理实例

A.10 TensorFlow分布式处理实例

A.11 建议使用conda安装TensorFlow

A.12 安装PyTorch

A.13 修改安装源

附录B 语言模型

深入浅出Embedding:原理解析与应用实践是2021年由机械工业出版社华章分社出版,作者吴茂贵,王红星。

得书感谢您对《深入浅出Embedding:原理解析与应用实践》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。

购买这本书

你可能喜欢
AndroidTelephony原理解析与开发指南 电子书
深度解析Android手机定制开发中的重点和难点Telephony通信模块。
深度学习原理与 TensorFlow实践 电子书
本书介绍了深度学习原理与TensorFlow实践。着重讲述了当前学术界和工业界的深度学习核心知识:机器学习概论、神经网络、深度学习。着重讲述了深度学习的实现以及深度学习框架TensorFlow:Python编程基础、TensorFlow编程基础、TensorFlow模型、TensorFlow编程实践、TensorFlowLite和TensorFlow.js、TensorFlow案例--医学应用和S
推荐系统技术原理与实践 电子书
本书系统介绍推荐系统的技术理论和实践。首先介绍推荐系统的基础知识;然后介绍推荐系统常用的机器学习和深度学习模型;接着重点介绍推荐系统的4层级联架构,包括召回、粗排、精排和重排,以及谷歌、阿里巴巴等大型互联网公司在4层级联架构中的模型设计和实现原理;紧接其后介绍多目标排序在推荐系统中的应用,具体介绍阿里巴巴、谷歌等大型互联网公司的实践;最后从不同角度审视推荐系统,介绍公平性问题、知识蒸馏、冷启动等各
区块链原理与技术应用 电子书
本书详细介绍了区块链的概念与技术体系,涉及其本质、作用、技术背景、原理、关键知识点和应用场景等,在内容写作上由整体到局部,层次分明,难度由浅入深,理论联系实际,力图使读者能快速、全面地了解区块链相关技术。
软件定义网络核心原理与应用实践(第二版)上册 电子书
本系列丛书包含核心原理和应用实践上下两册,对SDN技术进行了全面剖析和深入解读。本册属于核心原理部分,首先阐述了SDN的设计思想与体系架构,详细分析了控制转发分离和开放可编程两个重要属性,其次介绍了以OpenFlow为代表的SDN南向接口协议,以及北向和东西向接口协议,接下来根据SDN的层次化架构,自下而上依次介绍了SDN数据平面、控制平面和应用案例,梳理总结了SDN标准化和学术进展情况。