编辑推荐
本书从算法理论、算法源码、实验结果等方面对深度学习算法进行分析和介绍。
内容简介
本书通过扎实、详细的内容和清晰的结构，从算法理论、算法源码、实验结果等方面对深度学习算法进行分析和介绍。本书共三篇，第一篇主要介绍深度学习在计算机视觉方向的一些卷积神经网络，从基础骨干网络、轻量级 CNN、模型架构搜索 3 个方向展开，介绍计算机视觉方向的里程碑算法；第二篇主要介绍深度学习在自然语言处理方向的重要突破，包括基础序列模型和模型预训练；第三篇主要介绍深度学习在模型优化上的进展，包括模型优化方法。通过阅读本书，读者可以深入理解主流的深度学习基础算法，搭建起自己的知识体系，领会算法的本质，学习模型优化方法。无论是从事深度学习科研的教师及学生，还是从事算法落地实践的工作人员，都能从本书中获益。
展开全文
- 扉页
- 谨以此书献给生命中的亲人和挚友
- 序1
- 序2
- 前言
- 资源与支持
- 目录
- 第一篇 卷积神经网络
- 第1章 基础骨干网络
- 1.1 起源：LeNet-5和AlexNet
- 1.1.1 从 LeNet-5开始
- 1.1.2 觉醒：AlexNet
- 1.2 更深：VGG
- 1.2.1 VGG介绍
- 1.2.2 VGG的训练和测试
- 1.3 更宽：GoogLeNet
- 1.3.1 背景知识
- 1.3.2 Inception v1
- 1.3.3 GoogLeNet
- 1.3.4 Inception v2
- 1.3.5 Inception v3
- 1.3.6 Inception v4
- 1.3.7 Inception-ResNet
- 1.4 跳跃连接：ResNet
- 1.4.1 残差网络
- 1.4.2 残差网络背后的原理
- 1.4.3 残差网络与模型集成
- 1.5 注意力：SENet
- 1.5.1 SE 块
- 1.5.2 SE-Inception和 SE-ResNet
- 1.5.3 SENet 的复杂性分析
- 1.5.4 小结
- 1.6 更密：DenseNet
- 1.6.1 DenseNet算法解析及源码实现
- 1.6.2 压缩层
- 1.6.3 小结
- 1.7 模型集成：DPN
- 1.7.1 高阶 RNN、DenseNet和残差网络
- 1.7.2 DPN详解
- 1.7.3 小结
- 1.8 像素向量：iGPT
- 1.8.1 iGPT详解
- 1.8.2 实验结果分析
- 1.8.3 小结
- 1.9 Visual Transformer之Swin Transformer
- 1.9.1 网络结构详解
- 1.9.2 Swin Transformer家族
- 1.9.3 小结
- 1.10 Vision Transformer之CSWin Transformer
- 1.10.1 CSWin Transformer概述
- 1.10.2 十字形窗口自注意力机制
- 1.10.3 局部加强位置编码
- 1.10.4 CSWin Transformer块
- 1.10.5 CSWin Transformer的复杂度
- 1.10.6 小结
- 1.11 MLP? :MLP-Mixer
- 1.11.1 网络结构
- 1.11.2 讨论
- 第2章 轻量级 CNN
- 2.1 SqueezeNet
- 2.1.1 SqueezeNet的压缩策略
- 2.1.2 点火模块
- 2.1.3 SqueezeNet的网络结构
- 2.1.4 SqueezeNet的性能
- 2.1.5 小结
- 2.2 MobileNet v1和MobileNet v2
- 2.2.1 MobileNet v1
- 2.2.2 MobileNet v2
- 2.2.3 小结
- 2.3 Xception
- 2.3.1 Inception回顾
- 2.3.2 Xception详解
- 2.3.3 小结
- 2.4 ResNeXt
- 2.4.1 从全连接讲起
- 2.4.2 简化 Inception
- 2.4.3 ResNeXt详解
- 2.4.4 分组卷积
- 2.4.5 小结
- 2.5 ShuffleNet v1和ShuffleNet v2
- 2.5.1 ShuffleNet v1
- 2.5.2 ShuffleNet v2
- 2.5.3 小结
- 2.6 CondenseNet
- 2.6.1 分组卷积的问题
- 2.6.2 可学习分组卷积
- 2.6.3 架构设计
- 2.6.4 小结
- 第3章 模型架构搜索
- 3.1 PolyNet
- 3.1.1 结构多样性
- 3.1.2 多项式模型
- 3.1.3 对照实验
- 3.1.4 Very Deep PolyNet
- 3.1.5 小结
- 3.2 NAS
- 3.2.1 NAS-CNN
- 3.2.2 NAS-RNN
- 3.2.3 小结
- 3.3 NASNet
- 3.3.1 NASNet控制器
- 3.3.2 NASNet的强化学习
- 3.3.3 计划 DropPath
- 3.3.4 其他超参数
- 3.3.5 小结
- 3.4 PNASNet
- 3.4.1 更小的搜索空间
- 3.4.2 SMBO
- 3.4.3 代理函数
- 3.4.4 PNASNet 的实验结果
- 3.4.5 小结
- 3.5 AmoebaNet
- 3.5.1 搜索空间
- 3.5.2 年龄进化
- 3.5.3 AmoebaNet的网络结构
- 3.5.4 小结
- 3.6 MnasNet
- 3.6.1 优化目标
- 3.6.2 搜索空间
- 3.6.3 优化策略
- 3.6.4 小结
- 3.7 MobileNet v3
- 3.7.1 参考结构
- 3.7.2 网络搜索
- 3.7.3 人工设计
- 3.7.4 修改 SE 块
- 3.7.5 Lite R-ASPP
- 3.7.6 小结
- 3.8 EfficientNet v1
- 3.8.1 背景知识
- 3.8.2 EfficientNet v1详解
- 3.8.3 小结
- 3.9 EfficientNet v2
- 3.9.1 算法动机
- 3.9.2 EfficientNet v2详解
- 3.9.3 小结
- 3.10 RegNet
- 3.10.1 设计空间
- 3.10.2 RegNet详解
- 3.10.3 小结
- 第二篇 自然语言处理
- 第4章 基础序列模型
- 4.1 LSTM 和GRU
- 4.1.1 序列模型的背景
- 4.1.2 LSTM
- 4.1.3 GRU
- 4.1.4 其他 LSTM
- 4.2 注意力机制
- 4.2.1 机器翻译的注意力机制
- 4.2.2 图解注意力机制
- 4.2.3 经典注意力模型
- 4.2.4 小结
- 4.3 Transformer
- 4.3.1 Transformer详解
- 4.3.2 位置嵌入
- 4.3.3 小结
- 4.4 Transformer-XL
- 4.4.1 Transformer的缺点
- 4.4.2 相对位置编码
- 4.4.3 Transformer-XL详解
- 4.4.4 小结
- 第5章 模型预训练
- 5.1 RNN语言模型
- 5.1.1 语言模型中的 RNN
- 5.1.2 训练数据
- 5.1.3 训练细节
- 5.2 ELMo
- 5.2.1 双向语言模型
- 5.2.2 ELMo 详解
- 5.2.3 应用 ELMo 到下游任务
- 5.2.4 小结
- 5.3 GPT-1、GPT-2和GPT-3
- 5.3.1 GPT-1：无监督学习
- 5.3.2 GPT-2：多任务学习
- 5.3.3 GPT-3：海量参数
- 5.3.4 小结
- 5.4 BERT
- 5.4.1 BERT 详解
- 5.4.2 小结
- 5.5 BERT“魔改”之 RoBERTa、ALBERT、MT-DNN 和XLM
- 5.5.1 成熟版 BERT ：RoBERTa
- 5.5.2 更快的 BERT ：ALBERT
- 5.5.3 多任务 BERT ：MT-DNN
- 5.5.4 多语言 BERT ：XLM
- 5.5.5 小结
- 5.6 XLNet
- 5.6.1 背景知识
- 5.6.2 XLNet详解
- 5.6.3 小结
- 5.7 ERNIE（清华大学）
- 5.7.1 加入知识图谱的动机
- 5.7.2 异构信息融合
- 5.7.3 DAE
- 5.7.4 ERNIE-T 的微调
- 5.7.5 小结
- 5.8 ERNIE（百度）和 ERNIE 2.0
- 5.8.1 ERNIE-B
- 5.8.2 ERNIE 2.0
- 5.8.3 小结
- 第三篇 模型优化
- 第6章 模型优化方法
- 6.1 Dropout
- 6.1.1 什么是 Dropout
- 6.1.2 Dropout的数学原理
- 6.1.3 Dropout是一个正则网络
- 6.1.4 CNN的 Dropout
- 6.1.5 RNN的 Dropout
- 6.1.6 Dropout的变体
- 6.1.7 小结
- 6.2 BN
- 6.2.1 BN详解
- 6.2.2 BN的背后原理
- 6.2.3 小结
- 6.3 LN
- 6.3.1 BN的问题
- 6.3.2 LN详解
- 6.3.3 对照实验
- 6.3.4 小结
- 6.4 WN
- 6.4.1 WN的计算
- 6.4.2 WN的原理
- 6.4.3 BN和 WN的关系
- 6.4.4 WN的参数初始化
- 6.4.5 均值 BN
- 6.4.6 小结
- 6.5 IN
- 6.5.1 IST 中的 IN
- 6.5.2 IN 与 BN对比
- 6.5.3 TensorFlow中的 IN
- 6.5.4 小结
- 6.6 GN
- 6.6.1 GN算法
- 6.6.2 GN的源码
- 6.6.3 GN的原理
- 6.6.4 小结
- 6.7 SN
- 6.7.1 SN 详解
- 6.7.2 SN 的优点
- 6.7.3 小结
展开全部
版权信息
出版社：人民邮电出版社
出版时间：2022
作者：刘岩
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《深度学习高手笔记·卷1：基础算法》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
出版时间：2022
作者：刘岩
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《深度学习高手笔记·卷1：基础算法》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
深度学习高手笔记·卷1：基础算法
免费读 (VIP)
