编辑推荐
这是一本内容新颖并具有机器学习应用背景的交替方向乘子法的专著。
内容简介
本书探究交替方向乘子法在图像处理中的应用,选取了运动模糊图像复原和遥感图像融合两个领域来作细致研究。
通过MATLAB进行仿真实验,利用交替方向乘子法高效求解复杂的凸优化问题,研究遮挡人脸识别的鲁棒性算法,以及人脸图像的类内变化和类间变化与鲁棒性算法的关系。同时,本书还探索高效的分布式优化求解方法。将分布式计算框CoCoA应用于机器学习和信号处理的各种问题。
作者简介
作者雷大江,IET学会会员、ICST学会会员、中国计算机学会会员,重庆邮电大学数据科学系教授、硕士生导师。
2006年毕业于武汉科技大学计算机应用技术专业,获工学硕士学位;2012年毕业于重庆大学计算机科学与技术专业,获工学博士学位。2014年至2015年在挪威奥斯陆大学Simula研究院从事高性能计算博士后研究,2018年获得重庆市留学归国人员创新创业项目支持人选称号。
主持和参与数据科学与大数据相关的国家自然科学基金、重庆市科委/教委基金、国家中地共建项目等近10项项目。主持和参与涉及电力、医疗、公安等行业应用的横向项目20余项,从2016年开始承担“重庆慧都科技有限公司”、“重庆善功科技有限公司”大数据系统的架构与算法咨询工作,2019年开始担任重庆市儿童医院”儿童医疗大数据智能应用重庆市高校工程研究中心“技术委员会委员。在国内外学术期刊和会议上发表论文30余篇,担任TPAMI、TIP、TOC、TGRS、ESWA顶刊审稿人。申请国家发明专利12项,获权3项,并实现1项授权专利的成果转化。指导学生参加大数据智能科技竞赛获奖50多项。
目前纵向研究方向为大数据、机器学习;横向承接大数据平台规划与搭建、大数据组件性能调优、大数据算法设计与实施、大数据项目架构设计、自然语言处理工程应用。
章节目录
版权信息
内容简介
前言
第1章 引言
1.1 大数据对机器学习的挑战
1.2 分布式优化算法国内外研究现状
1.3 本书研究内容
1.4 参考文献
第2章 交替方向乘子法
2.1 凸优化
2.1.1 凸集
2.1.2 凸函数
2.1.3 优化问题
2.1.4 凸优化问题
2.2 对偶
2.2.1 拉格朗日对偶函数
2.2.2 对偶函数和共轭函数
2.2.3 对偶问题
2.2.4 鞍点
2.2.5 对偶上升法
2.2.6 对偶分解性
2.3 交替方向乘子法
2.3.1 增广拉格朗日乘子法
2.3.2 交替方向乘子法
2.3.3 全局变量一致性优化
2.4 参考文献
第3章 稀疏回归
3.1 Lasso问题
3.2 ADMM求解Lasso问题
3.3 Lasso问题的一般求解
3.4 Lasso问题的全局一致性求解
3.4.1 基于样本划分的Lasso问题
3.4.2 基于特征划分的Lasso问题
3.5 参考文献
第4章 Huber回归
4.1 Huber损失在稀疏鲁棒性编码中的应用
4.1.1 基于回归分析的一般分类框架
4.1.2 稀疏编码
4.1.3 Huber损失函数
4.2 Huber损失的一般化求解
4.3 Huber损失的并行求解
4.3.1 基于特征划分的Huber函数
4.3.2 基于样本划分的Huber函数
4.4 参考文献
第5章 交替方向乘子法在图像处理中的应用
5.1 基于交替方向乘子法的全变差模糊图像恢复
5.1.1 图像退化模型
5.1.2 ADMM算法图像恢复推导过程
5.2 基于交替方向乘子法的遥感图像融合
5.2.1 基于变分框架的图像融合方法
5.2.2 基于增强稀疏结构一致性的遥感图像融合
5.2.3 实验结果与分析
5.3 参考文献
第6章 加权Huber约束稀疏表达的鲁棒性算法
6.1 Sigmoid权重
6.2 加权Huber约束稀疏编码
6.2.1 权重的初始值
6.2.2 迭代条件
6.2.3 查询样本类别判断
6.3 算法鲁棒性分析
6.4 算法的迭代步骤及其子问题划分
6.4.1 ADMM求解子问题
6.4.2 计算复杂度分析
6.4.3 收敛性和收敛率分析
6.5 加权Huber约束稀疏编码算法实验
6.5.1 实验设置
6.5.2 弱遮挡的人脸识别
6.5.3 强遮挡的人脸识别
6.5.4 图像的重构
6.5.5 运行时间
6.5.6 参数与识别率
6.5.7 实验结果与分析
6.6 本章小结
6.7 参考文献
第7章 自适应加权的Huber约束稀疏表达的鲁棒性算法
7.1 自适应权重
7.2 自适应加权的Huber约束编码的模型
7.3 自适应加权的Huber约束稀疏编码的模型
7.3.1 自适应权重更新
7.3.2 自适应权重初始值
7.3.3 迭代条件
7.3.4 查询样本分类
7.4 算法鲁棒性分析
7.5 算法的迭代步骤及子问题分析
7.5.1 ADMM求解子问题
7.5.2 计算复杂度分析
7.5.3 收敛性和收敛率分析
7.6 自适应加权Huber约束稀疏编码算法实验
7.6.1 实验设置
7.6.2 弱闭塞的人脸识别
7.6.3 强闭塞的人脸识别
7.6.4 运行时间
7.6.5 参数分析
7.6.6 实验结果与分析
7.7 本章小结
7.8 参考文献
第8章 极大不相关多元逻辑回归
8.1 引入极大不相关约束的意义
8.2 极大不相关多元逻辑回归算法
8.2.1 基于多元逻辑回归算法的改进
8.2.2 求解算法时间复杂度分析
8.3 极大不相关多元逻辑回归算法实验
8.3.1 数据集介绍
8.3.2 人工数据集和公开数据集实验结果
8.3.3 极大不相关神经网络算法实验
8.4 大规模极大不相关多元逻辑回归算法
8.4.1 极大不相关多元逻辑回归的一致性求解算法
8.4.2 极大不相关多元逻辑回归的共享求解算法
8.4.3 求解算法时间复杂度分析
8.5 分布式极大不相关逻辑回归算法试验
8.5.1 运行环境与数据集介绍
8.5.2 一致性求解算法的实验对比
8.5.3 共享求解算法的实验对比
8.6 本章小结
8.7 参考文献
第9章 快速稀疏多元逻辑回归
9.1 稀疏多元逻辑回归串行求解算法
9.1.1 迭代重加权最小二乘法
9.1.2 快速稀疏多元逻辑回归算法
9.2 快速稀疏多元逻辑回归算法实验
9.2.1 实验设置
9.2.2 优化算法实验及分析
9.2.3 传统算法实验及分析
9.3 稀疏多元逻辑回归并行求解算法
9.3.1 多元逻辑回归的一致性优化求解
9.3.2 多元逻辑回归的共享优化求解
9.3.3 求解算法收敛性分析
9.3.4 求解算法计算复杂度分析
9.4 SP-SMLR算法和FP-SMLR算法实验
9.4.1 实验设置
9.4.2 样本划分实验及分析
9.4.3 特征划分实验及分析
9.4.4 大规模算法实验及分析
9.5 本章小结
9.6 参考文献
第10章 CoCoA框架下的Lasso回归分布式求解
10.1 CoCoA框架介绍
10.1.1 框架应用的两种问题形式
10.1.2 各节点求解的子问题
10.1.3 CoCoA总体计算框架
10.2 CoCoA框架下求解Lasso回归
10.3 CoCoA框架下求解Lasso回归实验
10.3.1 实验设置
10.3.2 实验结果与分析
10.4 本章小结
10.5 参考文献
第11章 CoCoA框架下的稀疏多元逻辑回归分布式求解
11.1 稀疏多元逻辑回归
11.2 稀疏多元逻辑回归分布式求解
11.3 CoCoA框架下求解稀疏多元逻辑回归实验
11.3.1 实验设置
11.3.2 实验结果与分析
11.4 本章小结
11.5 参考文献
分布式机器学习:交替方向乘子法在机器学习中的应用是2021年由清华大学出版社出版,作者雷大江。
得书感谢您对《分布式机器学习:交替方向乘子法在机器学习中的应用》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。