随着云计算、大数据等的快速发展，越来越多的组织用信息化手段进行流程管理。如何提升流程执行的智能化程度、动态性和柔性，以提高对非标准业务的管理效率，是流程管理面临的一个重要问题。本书基于流程管理系统积累的日志，提出了3种流程管理的工作流活动推荐方法，分别为基于用户类别近邻的活动推荐方法、基于Pearson相关系数的活动推荐方法和基于协同过滤的活动推荐方法，并介绍了一种流程信息的可视化算法，实现了一个
电子书
内容简介
本书以Python作为开发语言，系统介绍PySpark开发环境搭建流程及基于PySpark进行大数据分析的 相关知识。本书条理清晰、重点突出，理论叙述循序渐进、由浅入深。本书共7章，第1?5章包括PySpark 大数据分析概述、PySpark安装配置、基于PySpark的DataFrame操作、基于PySpark的流式数据处理、 基于PySpark的机器学习库，内容介绍注重理论与实践相结合，通过典型示例强化PySpark在大数据分析 中的实际应用；第6、7章通过基于PySpark的网络招聘信息的职业类型划分和基于PySpark的信用贷款 风险分析两个完整的案例实战，结合前5章的PySpark编程知识，实现完整的大数据分析过程。本书大部 分章包含实训和课后习题，读者通过练习和操作实践，能够巩固所学的内容。
本书可作为高校数据科学或大数据相关专业的教材，也可作为机器学习爱好者的自学用书。
章节目录
- 第 1 章 PySpark 大数据分析概述
- 1.1 大数据分析概述
- 1.1.1 大数据的概念
- 1.1.2 大数据分析的概念
- 1.1.3 大数据分析的流程
- 1.1.4 大数据分析的应用场景
- 1.1.5 大数据技术体系
- 1.2 Spark 大数据技术框架
- 1.2.1 Spark 简介
- 1.2.2 Spark 特点
- 1.2.3 Spark 运行架构与流程
- 1.2.4 Spark RDD
- 1.2.5 Spark 生态圈
- 1.3 PySpark 大数据分析
- 1.3.1 PySpark 简介
- 1.3.2 PySpark 子模块
- 小结
- 课后习题
- 第 2 章 PySpark 安装配置
- 2.1 搭建单机模式的PySpark 开发环境
- 2.1.1 安装JDK
- 2.1.2 安装Anaconda
- 2.1.3 安装Hadoop
- 2.1.4 安装MySQL
- 2.1.5 安装Hive
- 2.1.6 配置PySpark 模块
- 2.1.7 运行Jupyter Notebook
- 2.2 搭建分布式模式的PySpark 开发环境
- 2.2.1 安装配置虚拟机
- 2.2.2 安装Java
- 2.2.3 搭建Hadoop 分布式集群
- 2.2.4 安装MySQL 数据库
- 2.2.5 安装Hive 数据仓库工具
- 2.2.6 搭建Spark 完全分布式集群
- 2.2.7 安装PyCharm
- 2.2.8 安装Python 解释器及PySpark 模块
- 2.3 Python 函数式编程
- 2.3.1 Python 常用数据结构
- 2.3.2 Python 函数式编程基础
- 小结
- 课后习题
- 第 3 章 基于PySpark 的DataFrame 操作
- 3.1 Spark SQL 概述
- 3.1.1 Spark SQL 起源与发展历程
- 3.1.2 Spark SQL 主要功能
- 3.1.3 Spark SQL 数据核心抽象DataFrame
- 3.2 pyspark.sql 模块
- 3.2.1 pyspark.sql 模块简介
- 3.2.2 pyspark.sql 模块核心类
- 3.3 DataFrame 基础操作
- 3.3.1 创建DataFrame 对象
- 3.3.2 DataFrame 操作
- 3.3.3 DataFrame 输出操作
- 小结
- 实训
- 实训1 网站搜索热词统计分析
- 实训2 大数据岗位招聘信息统计分析
- 课后习题
- 第 4 章 基于PySpark 的流式数据处理
- 4.1 Spark Streaming 概述
- 4.1.1 流计算简介
- 4.1.2 Spark Streaming 基本概念
- 4.1.3 Spark Streaming 工作原理
- 4.1.4 Spark Streaming 运行机制
- 4.2 pyspark.streaming 模块
- 4.2.1 pyspark.streaming 模块简介
- 4.2.2 pyspark.streaming 模块核心类
- 4.2.3 DStream 基础操作
- 4.3 Structured Streaming 结构化流处理
- 4.3.1 Structured Streaming 概述
- 4.3.2 Structured Streaming 编程模型
- 4.3.3 Structured Streaming 基础操作
- 4.3.4 Structured Streaming 编程步骤
- 小结
- 实训
- 实训1 使用Spark Streaming 实现菜品价格实时计算
- 实训2 使用Spark Streaming 实时判别车辆所属地
- 课后习题
- 第 5 章 基于PySpark 的机器学习库
- 5.1 MLlib 算法
- 5.1.1 机器学习
- 5.1.2 MLlib
- 5.1.3 pyspark.ml 模块
- 5.2 使用pyspark.ml 模块的转换器处理和转换数据
- 5.2.1 数据加载及数据集划分
- 5.2.2 数据降维
- 5.2.3 数据标准化
- 5.2.4 数据类型转换
- 5.3 pyspark.ml 模块的评估器和模型评估
- 5.3.1 使用PySpark 构建并评估分类模型
- 5.3.2 使用PySpark 构建并评估回归模型
- 5.3.3 使用PySpark 构建并评估聚类模型
- 5.3.4 使用PySpark 构建并评估智能推荐模型
- 小结
- 实训
- 实训1 使用随机森林模型预测是否批准用户申请
- 实训2 使用回归模型实现房价预测
- 课后习题
- 第 6 章 案例分析：基于PySpark的网络招聘信息的职业类型划分
- 6.1 需求与架构分析
- 6.1.1 业务需求分析与技术选型
- 6.1.2 系统架构分析
- 6.2 数据探索
- 6.2.1 数据说明
- 6.2.2 数据读取
- 6.2.3 重复数据与空值探索
- 6.2.4 异常数据探索
- 6.3 数据预处理
- 6.3.1 数据清洗
- 6.3.2 中文分词与去停用词
- 6.3.3 词特征向量化
- 6.4 模型构建与评估
- 6.4.1 LDA 算法简介
- 6.4.2 LDA 模型构建与评估
- 6.4.3 构建LDA 模型
- 6.5 制作词云图
- 小结
- 第 7 章 案例分析：基于PySpark的信用贷款风险分析
- 7.1 需求与架构分析
- 7.1.1 业务需求分析
- 7.1.2 系统架构分析
- 7.2 数据探索
- 7.2.1 数据说明
- 7.2.2 建立数据仓库并导入数据
- 7.2.3 用户信息完善情况与逾期率的关系探索
- 7.2.4 用户信息修改情况与逾期率的关系探索
- 7.2.5 用户借款月份与逾期率的关系探索
- 7.3 数据预处理
- 7.3.1 计算用户信息缺失个数及借款月份构建新特征
- 7.3.2 用户更新信息重建
- 7.3.3 用户登录信息重建
- 7.3.4 分类数据预处理
- 7.3.5 字符串字段编码处理
- 7.3.6 分类数据重编码
- 7.3.7 缺失值处理
- 7.4 模型构建与评估
- 7.4.1 了解GBTs 算法
- 7.4.2 构建GBTs 模型
- 7.4.3 评估GBTs 模型
- 7.5 部署和提交PySpark 应用程序
- 7.5.1 打包PySpark 应用程序
- 7.5.2 提交PySpark 应用程序
- 小结
- 参考文献
展开全部
PySpark大数据分析与应用是2024年由人民邮电出版社出版,作者戴刚。
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《PySpark大数据分析与应用》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
随着企业数字化转型不断深化，企业对数据库工程师的需求越来越大。本书结合实际工作场景，将企业数据库运维的相关工作分为10个项目，内容包括了解数据库运维工作，安装和配置MySQL，管理MySQL权限与安全，分析MySQL日志，备份与恢复MySQL，监控、测试并优化MySQL性能，MySQL复制，搭建及运维MySQLCluster，结合Redis的MySQL运维，数据库自动化运维。本书配套教学PPT、题
电子书
《Python程序设计——编程基础、Web开发及数据分析》系统讲述了Python程序设计的基础知识。全书共15章，内容包括：Python概述、Python基本语法、Python的基本流程控制、Python的四种典型序列结构、Python函数、Python文件和数据库操作、面向对象程序设计、模块和包、字符串操作与正则表达式的使用、错误及异常处理、GUI编程、网络和多线程编程、基于Flask框架的We
电子书
本书阐述了铁路文本大数据分析挖掘的理论、技术及应用，内容包括：绪论、文本大数据分析挖掘基础、文本大数据分析挖掘理论体系、常用分析与挖掘工具包、铁路文本大数据分析挖掘平台研究、铁路安全文本大数据应用案例、铁路应急管理文本大数据应用案例。
电子书
本书教学设计遵循教学规律，对真实项目进行了科学拆分与提炼。主要内容分为Hadoop大数据技术基础与Hadoop大数据分析案例两部分，前者包括大数据的有关概念、Hadoop概述、Hadoop集群的部署与管理、HDFS、MapReduce编程以及Hadoop生态的其他常用组件ZooKeeper、HBase、Hive、Sqoop、Flume、Storm、Kafka的工作原理、安装部署和使用方法，后者通过
电子书
本书主要介绍如何使用Python处理Excel数据。本书内容分为三大部分：第一部分主要介绍数据分析的概念和Python基础；第二部分通过蜂蜜电商数据分析案例详细介绍数据分析的技术要点，包括读写Excel文件所需的xlwings库和openpyxl库、数据分析的pandas核心库，以及数据可视化常用的Matplotlib库和Seaborn库；第三部分包括个人消费贷款数据分析和螺蛳粉连锁店销售数据分析
电子书
本书分为11章，前6章讲解了Python基本语法和基本应用，后5章系统地讲解了用Python爬取数据、处理数据、分析数据的方法与过程。每章除了丰富的实例外，还设计了来源于实践的项目训练及拓展训练项目。
电子书
本书在介绍大数据发展背景、特点及主要技术层面的基础上，对大数据的数据采集、数据存储、常见计算模式和典型系统工具进行了分析介绍。本书同时对各种典型系统工具进行了讲解，包括大数据查询分析计算及典型工具（HBase、Hive）、批处理计算及典型工具（MapReduce、Spark）、流式计算及典型工具（Storm、Apex、Flink）、事件流及典型工具（Druid）等。本书提供了大量的实例和源代码供读
