类似推荐
编辑推荐
助你理解、掌握PyTorch的优化技巧。
内容简介
本书致力于探索如何在大规模深度学习模型训练中，最大限度地提高性能和优化显存使用。本书面向深度学习从业者，尤其是希望深入了解并提升模型训练效率的工程师与研究人员。随着深度学习模型和数据规模的迅速增长，如何高效利用硬件资源，减少训练时间，成为当前AI系统工程的关键挑战。
本书内容涵盖从单机到分布式训练，从显存管理到性能分析的多种优化策略，力求通过丰富的代码实例和深入的原理讲解，使读者能够在实践中灵活应用这些方法。
作者简介
作者张爱玲，本科毕业于清华大学电子工程系，后在美国伊利诺伊大学香槟分校获得计算机科学硕士学位，是AI系统工程领域的资深技术专家。作为深度学习框架PyTorch核心团队成员，参与了多个关键组件的研发与优化工作。
同时，她作为技术负责人主导了PyTorch/XLA和Taichi编译器等多个具有广泛影响力的开源项目。目前在工业界专注于大规模语言模型训练的基础设施开发与性能优化工作。
章节目录
版权信息
作者简介
内容简介
前言
01 欢迎来到这场大模型竞赛
1.1 模型规模带来的挑战
1.2 数据规模带来的挑战
1.3 模型规模与数据增长的应对方法
02 深度学习必备的硬件知识
2.1 CPU与内存
2.2 硬盘
2.3 GPU
2.4 分布式系统
03 深知度识学习必备的PyTorch
3.1 PyTorch的张量数据结构
3.2 PyTorch中的算子
3.3 PyTorch的动态图机制
3.4 PyTorch的自动微分系统
3.5 PyTorch的异步执行机制
04 定位性能瓶颈的工具和方法
4.1 配置性能分析所需的软硬件环境
4.2 精确测量程序运行时间
4.3 PyTorch性能分析器
4.4 GPU专业分析工具
4.5 CPU性能分析工具
4.6 本章小结
05 数据加载和预处理专题
5.1 数据接入的准备阶段
5.2 数据集的获取和预处理
5.3 数据集的加载和使用
5.4 数据加载性能分析
5.5 本章小结
06 单卡性能优化专题
6.1 提高数据任务的并行度
6.2 提高GPU计算任务的效率
6.3 减少CPU和GPU间的同步
6.4 降低程序中的额外开销
6.5 有代价的性能优化
6.6 本章小结
07 单卡显存优化专题
7.1 PyTorch的显存管理机制
7.2 显存的分析方法
7.3 训练过程中的显存占用
7.4 通用显存复用方法
7.5 有代价的显存优化技巧
7.6 优化Python代码以减少显存占用
7.7 本章小结
08 分布式训练专题
8.1 分布式策略概述
8.2 集合通信原语
8.3 应对数据增长的并行策略
8.4 应对模型增长的并行策略
8.5 本章小结
09 高级优化方法专题
9.1 自动混合精度训练
9.2 自定义高性能算子
9.3 基于计算图的性能优化
9.4 本章小结
10 GPT-2优化全流程
10.1 GPT模型结构简介
10.2 实验环境与机器配置
10.3 显存优化
10.4 性能优化
结语
大模型动力引擎：PyTorch性能与显存优化手册是2024年由清华大学出版社出版,作者张爱玲。
得书感谢您对《大模型动力引擎：PyTorch性能与显存优化手册》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
