编辑推荐
一线大厂推荐工程师倾囊相授,揭秘巨头公司推荐系统背后的逻辑,直击面试要点,加强深度学习理论与实践的融合能力。
《百面深度学习 算法工程师带你去面试》
不可不读的深度学习面试宝典《百面机器学习》姊妹篇。
Hulu诚意出品,全面收录135道算法面试题。
一线大厂算法工程师合力创作,直击面试要点。
从算法与模型到多领域应用,全方位解读深度学习。
诚意推荐
吴军 / 《浪潮之巅》《数学之美》作者
华先胜 / 阿里巴巴达摩院人工智能中心主任,IEEE Fellow
李沐 / AWS首席科学家,《动手学深度学习》作者
孙茂松 / 清华大学人工智能研究院常务副院长
本书适合相关专业的在校学生检查和加强对所学知识点的掌握程度,求职者快速复习和补充相关的深度学习知识,以及算法工程师作为工具书随时参阅。此外,非相关专业、但对人工智能或深度学习感兴趣的研究人员,也可以通过本书大致了解一些热门的人工智能应用、深度学习模型背后的核心算法及其思想。
《深度学习推荐系统》深度学习在推荐系统领域掀起了一场技术革命,本书从深度学习推荐模型、Embedding技术、推荐系统工程实现、模型评估体系、业界前沿实践等几个方面介绍了这场技术革命中的主流技术要点。
《深度学习推荐系统》既适合推荐系统、计算广告和搜索领域的从业者阅读,也适合人工智能相关专业的本 科生、研究生、博士生阅读,帮助他们建立深度学习推荐系统的技术框架,通过学习前沿案例 加强深度学习理论与推荐系统工程实践的融合能力。
教你从零开始构建前沿、实用的推荐系统知识体系
揭秘巨头公司推荐系统背后的逻辑
梳理深度学习推荐系统的发展脉络,厘清每个关键模型和技术的细节
引导读者掌握工业界模型设计背后真正的 “银弹”
诸葛越、唐杰、张俊林、刘知远、杨子等产学界专家倾情力荐,朱小强作序
内容简介
深度学习是目前学术界和工业界都非常火热的话题,在许多行业有着成功应用。本书由Hulu的近30位算法研究员和算法工程师共同编写完成,专门针对深度学习领域,是《百面机器学习:算法工程师带你去面试》的延伸。全书内容大致分为两个部分,第一部分介绍经典的深度学习算法和模型,包括卷积神经网络、循环神经网络、图神经网络、生成模型、生成式对抗网络、强化学习、元学习、自动化机器学习等;第二部分介绍深度学习在一些领域的应用,包括计算机视觉、自然语言处理、推荐系统、计算广告、视频处理、计算机听觉、自动驾驶等。本书仍然采用知识点问答的形式来组织内容,每个问题都给出了难度级和相关知识点,以督促读者进行自我检查和主动思考。书中每个章节精心筛选了对应领域的不同方面、不同层次上的问题,相互搭配,展示深度学习的“百面”精彩,让不同读者都能找到合适的内容。本书适合相关专业的在校学生检查和加强对所学知识点的掌握程度,求职者快速复习和补充相关的深度学习知识,以及算法工程师作为工具书随时参阅。此外,非相关专业、但对人工智能或深度学习感兴趣的研究人员,也可以通过本书大致了解一些热门的人工智能应用、深度学习模型背后的核心算法及其思想。
深度学习在推荐系统领域掀起了一场技术革命,本书从深度学习推荐模型、Embedding技术、推荐系统工程实现、模型评估体系、业界前沿实践等几个方面介绍了这场技术革命中的主流技术要点。 《深度学习推荐系统》既适合推荐系统、计算广告和搜索领域的从业者阅读,也适合人工智能相关专业的本 科生、研究生、博士生阅读,帮助他们建立深度学习推荐系统的技术框架,通过学习前沿案例 加强深度学习理论与推荐系统工程实践的融合能力。
作者简介
诸葛越,现任Hulu公司全球研发副总裁,中国研发中心总经理。曾任Landscape Mobile公司联合创始人兼CEO,前雅虎北京研发中心产品总监,微软北京研发中心项目总经理。诸葛越获美国斯坦福大学计算机硕士与博士学位、纽约州立大学石溪分校应用数学硕士学位,曾就读于清华大学,2005年获美国计算机学会数据库专业委员会十年最佳论文奖。诸葛越是畅销书《魔鬼老大,天使老二》作者,《百面机器学习》主编。
江云胜,北京大学应用数学博士,现任葫芦资深算法研究员。毕业后加入Hulu北京研发中心的Content Intelligence组,负责内容理解相关的研究工作。《百面机器学习》主要作者之一。
葫芦娃,近30位Hulu北京创新实验室的ding尖人才,毕业于清华、北大、浙大、上交、北邮、中科院等高校。他们利用擅长的深度学习、机器学习等领域知识和算法模型,建立了一套定制化的AI平台,改变着推荐引擎、视频编解码、内容理解、广告投放等多项与用户息息相关的在线业务技术。
王喆,毕业于清华大学计算机科学与技术系,美国流媒体公司Roku资深机器学习工程师,推荐系统架构负责人。曾任Hulu高级研究工程师,品友互动广告效果算法组负责人。清华大学KEG实验室学术搜索引擎AMiner早期发起人之一。主要研究方向为推荐系统、计算广告、个性化搜索,发表相关领域学术论文7篇,拥有专利3项,是《百面机器学习:算法工程师带你去面试》等技术书的联合作者。曾担任KDD、CIKM等国际会议审稿人。
章节目录
《百面机器学习:算法工程师带你去面试》前言
第 一部分 算法和模型
第 1章 卷积神经网络
01 卷积基础知识
02 卷积的变种
03 卷积神经网络的整体结构
04 卷积神经网络的基础模块
参考文献
第 2章 循环神经网络
01 循环神经网络与序列建模
02 循环神经网络中的Dropout
03 循环神经网络中的长期依赖问题
04 长短期记忆网络
05 Seq2Seq 架构
参考文献
第3章 图神经网络
01 图神经网络的基本结构
02 图神经网络在推荐系统中的应用
03 图神经网络的推理能力
参考文献
第4章 生成模型
01 深度信念网络与深度波尔兹曼机
02 变分自编码器基础知识
03 变分自编码器的改进
04 生成式矩匹配网络与深度自回归网络
参考文献
第5章 生成式对抗网络
01 生成式对抗网络的基本原理
02 生成式对抗网络的改进
03 生成式对抗网络的效果评估
04 生成式对抗网络的应用
参考文献
第6章 强化学习
01 强化学习基础知识
02 强化学习算法
03 深度强化学习
04 强化学习的应用
参考文献
第7章 元学习
01 元学习的主要概念
02 元学习的主要方法
03 元学习的数据集准备
04 元学习的两个简单模型
05 基于度量学习的元学习模型
06 基于神经图灵机的元学习模型
07 基于学习优化器的元学习模型
08 基于学习初始点的元学习模型
参考文献
第8章 自动化机器学习
01 自动化机器学习的基本概念
02 模型和超参数自动化调优
03 神经网络架构搜索
参考文献
第二部分 应用
第9章 计算机视觉
01 物体检测
02 图像分割
03 光学字符识别
04 图像标注
05 人体姿态识别
参考文献
第 10章 自然语言处理
01 语言的特征表示
02 机器翻译
03 问答系统
04 对话系统
参考文献
第 11章 推荐系统
01 推荐系统基础
02 推荐系统设计与算法
03 推荐系统评估
参考文献
第 12章 计算广告
01 点击率预估
02 广告召回
03 广告投放策略
参考文献
第 13章 视频处理
01 视频编解码
02 视频监控
03 图像质量评价
04 超分辨率重建
05 网络通信
参考文献
第 14章 计算机听觉
01 音频信号的特征提取
02 自动语音识别
03 音频事件识别
参考文献
第 15章 自动驾驶
01 自动驾驶的基本概念
02 端到端的自动驾驶模型
03 自动驾驶的决策系统
参考文献
作者随笔
《深度学习推荐系统》
第1章互联网的增长引擎——推荐系统 1.1为什么推荐系统是互联网的增长引擎 1.1.1推荐系统的作用和意义 1.1.2推荐系统与YouTube的观看时长增长 1.1.3推荐系统与电商网站的收入增长 1.2推荐系统的架构 1.2.1推荐系统的逻辑框架 1.2.2推荐系统的技术架构 1.2.3推荐系统的数据部分 1.2.4推荐系统的模型部分 1.2.5深度学习对推荐系统的革命性贡献 1.2.6把握整体,补充细节 1.3本书的整体结构 第2章前深度学习时代——推荐系统的进化之路 2.1传统推荐模型的演化关系图 2.2协同过滤——经典的推荐算法 2.2.1什么是协同过滤 2.2.2用户相似度计算 2.2.3终结果的排序 2.2.4ItemCF 2.2.5UserCF与ItemCF的应用场景 2.2.6协同过滤的下一步发展 2.3矩阵分解算法——协同过滤的进化 2.3.1矩阵分解算法的原理 2.3.2矩阵分解的求解过程 2.3.3消除用户和物品打分的偏差 2.3.4矩阵分解的优点和局限性 2.4逻辑回归——融合多种特征的推荐模型 2.4.1基于逻辑回归模型的推荐流程 2.4.2逻辑回归模型的数学形式 2.4.3逻辑回归模型的训练方法 2.4.4逻辑回归模型的优势 2.4.5逻辑回归模型的局限性 2.5从FM到FFM——自动特征交叉的解决方案 2.5.1POLY2模型——特征交叉的开始 2.5.2FM模型——隐向量特征交叉 2.5.3FFM模型——引入特征域的概念 2.5.4从POLY2到FFM的模型演化过程 2.6GBDT LR——特征工程模型化的开端 2.6.1GBDT LR组合模型的结构 2.6.2GBDT进行特征转换的过程 2.6.3GBDT LR 组合模型开启的特征工程新趋势 2.7LS-PLM——阿里巴巴曾经的主流推荐模型 2.7.1LS-PLM 模型的主要结构 2.7.2LS-PLM模型的优点 2.7.3从深度学习的角度重新审视LS-PLM模型 2.8总结——深度学习推荐系统的前夜 第3章浪潮之巅——深度学习在推荐系统中的应用 3.1深度学习推荐模型的演化关系图 3.2AutoRec——单隐层神经网络推荐模型 3.2.1AutoRec模型的基本原理 3.2.2AutoRec模型的结构 3.2.3基于AutoRec模型的推荐过程 3.2.4AutoRec模型的特点和局限性 3.3Deep Crossing模型——经典的深度学习架构 3.3.1Deep Crossing模型的应用场景 3.3.2Deep Crossing模型的网络结构 3.3.3Deep Crossing模型对特征交叉方法的革命 3.4NeuralCF模型——CF与深度学习的结合 3.4.1从深度学习的视角重新审视矩阵分解模型 3.4.2NeuralCF模型的结构 3.4.3NeuralCF模型的优势和局限性 3.5PNN模型——加强特征交叉能力 3.5.1PNN模型的网络架构 3.5.2Product层的多种特征交叉方式 3.5.3PNN模型的优势和局限性 3.6Wide&Deep 模型——记忆能力和泛化能力的综合 3.6.1模型的记忆能力与泛化能力 3.6.2Wide&Deep模型的结构 3.6.3Wide&Deep模型的进化——Deep&Cross模型 3.6.4Wide&Deep模型的影响力 3.7FM与深度学习模型的结合 3.7.1FNN——用FM的隐向量完成Embedding层初始化 3.7.2DeepFM——用FM代替Wide部分 3.7.3NFM——FM的神经网络化尝试 3.7.4基于FM的深度学习模型的优点和局限性 3.8注意力机制在推荐模型中的应用 3.8.1AFM——引入注意力机制的FM 3.8.2DIN——引入注意力机制的深度学习网络 3.8.3注意力机制对推荐系统的启发 3.9DIEN——序列模型与推荐系统的结合 3.9.1DIEN的“进化”动机 3.9.2DIEN模型的架构 3.9.3兴趣抽取层的结构 3.9.4兴趣进化层的结构 3.9.5序列模型对推荐系统的启发 3.10强化学习与推荐系统的结合 3.10.1深度强化学习推荐系统框架 3.10.2深度强化学习推荐模型 3.10.3DRN的学习过程 3.10.4DRN的在线学习方法——竞争梯度下降算法 3.10.5强化学习对推荐系统的启发 3.11总结——推荐系统的深度学习时代 第4章Embedding技术在推荐系统中的应用 4.1什么是Embedding 4.1.1词向量的例子 4.1.2Embedding 技术在其他领域的扩展 4.1.3Embedding 技术对于深度学习推荐系统的重要性 4.2Word2vec——经典的Embedding方法 4.2.1什么是Word2vec 4.2.2Word2vec模型的训练过程 4.2.3Word2vec的“负采样”训练方法 4.2.4Word2vec对Embedding技术的奠基性意义 4.3Item2vec——Word2vec 在推荐系统领域的推广 4.3.1Item2vec的基本原理 4.3.2“广义”的Item2vec 4.3.3Item2vec方法的特点和局限性 4.4Graph Embedding——引入更多结构信息的图嵌入技术 4.4.1DeepWalk——基础的Graph Embedding方法 4.4.2Node2vec——同质性和结构性的权衡 4.4.3EGES——阿里巴巴的综合性Graph Embedding方法 4.5Embedding与深度学习推荐系统的结合 4.5.1深度学习网络中的Embedding层 4.5.2Embedding的预训练方法 4.5.3Embedding作为推荐系统召回层的方法 4.6局部敏感哈希——让Embedding插上翅膀的快速搜索方法 4.6.1“快速”Embedding近邻搜索 4.6.2局部敏感哈希的基本原理 4.6.3局部敏感哈希多桶策略 4.7总结——深度学习推荐系统的核心操作 第5章多角度审视推荐系统 5.1推荐系统的特征工程 5.1.1构建推荐系统特征工程的原则 5.1.2推荐系统中的常用特征 5.1.3常用的特征处理方法 5.1.4特征工程与业务理解 5.2推荐系统召回层的主要策略 5.2.1召回层和排序层的功能特点 5.2.2多路召回策略 5.2.3基于Embedding的召回方法 5.3推荐系统的实时性 5.3.1为什么说推荐系统的实时性是重要的 5.3.2推荐系统“特征”的实时性 5.3.3推荐系统“模型”的实时性 5.3.4用“木桶理论”看待推荐系统的迭代升级 5.4如何合理设定推荐系统中的优化目标 5.4.1YouTube以观看时长为优化目标的合理性 5.4.2模型优化和应用场景的统一性 5.4.3优化目标是和其他团队的接口性工作 5.5推荐系统中比模型结构更重要的是什么 5.5.1有解决推荐问题的“银弹”吗 5.5.2Netflix对用户行为的观察 5.5.3观察用户行为,在模型中加入有价值的用户信息 5.5.4DIN模型的改进动机 5.5.5算法工程师不能只是一个“炼金术士” 5.6冷启动的解决办法 5.6.1基于规则的冷启动过程 5.6.2丰富冷启动过程中可获得的用户和物品特征 5.6.3利用主动学习、迁移学习和“探索与利用”机制 5.6.4“巧妇难为无米之炊”的困境 5.7探索与利用 5.7.1传统的探索与利用方法 5.7.2个性化的探索与利用方法 5.7.3基于模型的探索与利用方法 5.7.4“探索与利用”机制在推荐系统中的应用 第6章深度学习推荐系统的工程实现 6.1推荐系统的数据流 6.1.1批处理大数据架构 6.1.2流计算大数据架构 6.1.3Lambda架构 6.1.4Kappa架构 6.1.5大数据平台与推荐系统的整合 6.2推荐模型离线训练之Spark MLlib 6.2.1Spark的分布式计算原理 6.2.2Spark MLlib的模型并行训练原理 6.2.3Spark MLlib并行训练的局限性 6.3推荐模型离线训练之Parameter Server 6.3.1Parameter Server的分布式训练原理 6.3.2一致性与并行效率之间的取舍 6.3.3多server节点的协同和效率问题 6.3.4Parameter Server技术要点总结 6.4推荐模型离线训练之TensorFlow 6.4.1TensorFlow的基本原理 6.4.2TensorFlow基于任务关系图的并行训练过程 6.4.3TensorFlow的单机训练与分布式训练模式 6.4.4TensorFlow技术要点总结 6.5深度学习推荐模型的上线部署 6.5.1预存推荐结果或Embedding结果 6.5.2自研模型线上服务平台 6.5.3预训练Embedding 轻量级线上模型 6.5.4利用PMML转换并部署模型 6.5.5TensorFlow Serving 6.5.6灵活选择模型服务方法 6.6工程与理论之间的权衡 6.6.1工程师职责的本质 6.6.2Redis容量和模型上线方式之间的权衡 6.6.3研发周期限制和技术选型的权衡 6.6.4硬件平台环境和模型结构间的权衡 6.6.5处理好整体和局部的关系
第7章推荐系统的评估 7.1离线评估方法与基本评价指标 7.1.1离线评估的主要方法 7.1.2离线评估的指标 7.2直接评估推荐序列的离线指标 7.2.1P-R曲线 7.2.2ROC曲线 7.2.3平均精度均值 7.2.4合理选择评估指标 7.3更接近线上环境的离线评估方法——Replay 7.3.1模型评估的逻辑闭环 7.3.2动态离线评估方法 7.3.3Netflix的Replay评估方法实践 7.4A/B测试与线上评估指标 7.4.1什么是A/B测试 7.4.2A/B测试的“分桶”原则 7.4.3线上A/B测试的评估指标 7.5快速线上评估方法——Interleaving 7.5.1传统A/B测试存在的统计学问题 7.5.2Interleaving方法的实现 7.5.3Interleaving方法与传统A/B测试的灵敏度比较 7.5.4Interleaving方法指标与A/B测试指标的相关性 7.5.5Interleaving方法的优点与缺点 7.6推荐系统的评估体系 第8章深度学习推荐系统的前沿实践 8.1Facebook的深度学习推荐系统 8.1.1推荐系统应用场景 8.1.2以GBDT LR组合模型为基础的CTR预估模型 8.1.3实时数据流架构 8.1.4降采样和模型校正 8.1.5Facebook GBDT LR组合模型的工程实践 8.1.6Facebook的深度学习模型DLRM 8.1.7DLRM模型并行训练方法 8.1.8DLRM模型的效果 8.1.9Facebook深度学习推荐系统总结 8.2Airbnb基于Embedding的实时搜索推荐系统 8.2.1推荐系统应用场景 8.2.2基于短期兴趣的房源Embedding方法 8.2.3基于长期兴趣的用户Embedding和房源Embedding 8.2.4Airbnb搜索词的Embedding 8.2.5Airbnb的实时搜索排序模型及其特征工程 8.2.6Airbnb实时搜索推荐系统总结 8.3YouTube深度学习视频推荐系统 8.3.1推荐系统应用场景 8.3.2YouTube推荐系统架构 8.3.3候选集生成模型 8.3.4候选集生成模型独特的线上服务方法 8.3.5排序模型 8.3.6训练和测试样本的处理 8.3.7如何处理用户对新视频的偏好 8.3.8YouTube深度学习视频推荐系统总结 8.4阿里巴巴深度学习推荐系统的进化 8.4.1推荐系统应用场景 8.4.2阿里巴巴的推荐模型体系 8.4.3阿里巴巴深度学习推荐模型的进化过程 8.4.4模型服务模块的技术架构 8.4.5阿里巴巴推荐技术架构总结 第9章构建属于你的推荐系统知识框架 9.1推荐系统的整体知识架构图 9.2推荐模型发展的时间线 9.3如何成为一名优秀的推荐工程师 9.3.1推荐工程师的4项能力 9.3.2能力的深度和广度 9.3.3推荐工程师的能力总结 后记
《百面深度学习》套装是2020年由人民邮电出版社出版,作者王喆。
得书感谢您对《《百面深度学习》套装》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。