编辑推荐
介绍分布式机器学习的概念、基础设施、框架和软件系统。
内容简介
本书主要讲解分布式机器学习算法和开源框架，读者既可以从宏观的设计上了解分布式机器学习的概念和理论，也可以深入核心技术的细节设计中，对分布式机器学习形成深刻而直观的认识，做到学以致用。
作者简介
作者柳浩，网名“罗西的思考”，浙江大学硕士。曾就职于多家世界500强企业，主导过多个大型项目，现就职于某新能源车企。
章节目录
版权信息
内容简介
前言
1 分布式基础
第1章 分布式机器学习
1.1 机器学习概念
1.2 机器学习的特点
1.3 分布式训练的必要性
1.4 分布式机器学习研究领域
1.5 从模型角度看如何并行
1.6 从训练并发角度看如何并行
1.7 分布式机器学习编程接口
1.8 PyTorch分布式
1.9 总结
第2章 集合通信
2.1 通信模式
2.2 点对点通信
2.3 集合通信
2.4 MPI AllReduce
2.5 Ring All-Reduce
第3章 参数服务器之PS-Lite
3.1 参数服务器
3.2 基础模块Postoffice
3.3 通信模块Van
3.4 代理人Customer
3.5 应用节点实现
2 数据并行
第4章 PyTorch DataParallel
4.1 综述
4.2 示例
4.3 定义
4.4 前向传播
4.5 计算损失
4.6 反向传播
4.7 总结
第5章 PyTorch DDP的基础架构
5.1 DDP总述
5.2 设计理念
5.3 基础概念
5.4 架构和初始化
第6章 PyTorch DDP的动态逻辑
6.1 Reducer类
6.2 前向/反向传播
第7章 Horovod
7.1 从使用者角度切入
7.2 horovodrun
7.3 网络基础和Driver
7.4 DistributedOptimizer
7.5 融合框架
7.6 后台线程架构
3 流水线并行
第8章 GPipe
8.1 流水线基本实现
8.2 梯度累积
8.3 Checkpointing
第9章 PyTorch流水线并行
9.1 如何划分模型
9.2 切分数据和Runtime系统
9.3 前向计算
9.4 计算依赖
9.5 并行计算
第10章 PipeDream之基础架构
10.1 总体思路
10.2 profile阶段
10.3 计算分区阶段
10.4 转换模型阶段
第11章 PipeDream之动态逻辑
11.1 Runtime引擎
11.2 通信模块
11.3 1F1B策略
4 模型并行
第12章 Megatron
12.1 设计思路
12.2 模型并行实现
12.3 如何设置各种并行
12.4 Pipedream的流水线刷新
第13章 PyTorch如何实现模型并行
13.1 PyTorch模型并行
13.2 分布式自动求导之设计
13.3 RPC基础
13.4 上下文相关
13.5 如何切入引擎
13.6 自动求导引擎
第14章 分布式优化器
14.1 原生优化器
14.2 DP的优化器
14.3 DDP的优化器
14.4 Horovod的优化器
14.5 模型并行的分布式问题
14.6 PyTorch分布式优化器
14.7 PipeDream分布式优化器
5 TensorFlow分布式
第15章 分布式运行环境之静态架构
15.1 总体架构
15.2 Server
15.3 Master的静态逻辑
15.4 Worker的静态逻辑
第16章 分布式运行环境之动态逻辑
16.1 Session机制
16.2 Master动态逻辑
16.3 Worker动态逻辑
16.4 通信机制
第17章 分布式策略基础
17.1 使用TensorFlow进行分布式训练
17.2 DistributedStrategy基础
17.3 分布式变量
第18章 MirroredStrategy
18.1 MirroredStrategy集合通信
18.2 MirroredStrategy分发计算
第19章 ParameterServerStrategy
19.1 ParameterServerStrategyV1
19.2 ParameterServerStrategyV2
19.3 ClusterCoordinator
反侵权盗版声明
分布式机器学习：系统、工程与实战是2023年由电子工业出版社出版,作者柳浩。
得书感谢您对《分布式机器学习：系统、工程与实战》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
