本书以初学者的角度详细介绍Spark架构的核心技术，主要围绕Spark的架构、Spark的开发语言、Spark模块的主要功能展开；以IDEA为主要开发工具，CentOS为运行环境，采用“理实一体化”授课模式。本书内容包括Spark导论，Spark环境搭建与使用，Scala语言，Spark弹性分布式数据集，SparkSQL、DataFrame和DataSet，Kafka分布式发布-订阅消息系统，Sp
电子书
内容简介
本书共9章，内容包括：Spark概述、Scala基础、Spark编程基础、Spark编程进阶、Spark SQL——结构化数据文件处理、Spark Streaming——实时计算框架、Spark GraphX——图计算框架、Spark MLlib——功能强大的算法库，以及项目案例——广告检测的流量作弊识别。
章节目录
- a-fy
- 59510-bq
- c-bw
- d-xu
- e-qy
- f-ml
- 01
- 2
- 认识Spark
- 1.1.1 了解Spark的发展历史
- 1.1.2 了解Spark的特点
- 1．快速
- 2．易用
- 3．通用
- 4．随处运行
- 5．代码简洁
- 1.1.3 认识Spark的生态圈
- 1.1.4 了解Spark的应用场景
- 1．腾讯
- 2．雅虎
- 3．阿里巴巴
- 搭建Spark集群
- 1.2.1 搭建单机版集群
- 1.2.2 搭建单机伪分布式集群
- 1.2.3 搭建完全分布式集群
- 了解Spark运行架构与原理
- 1.3.1 了解Spark架构
- 1.3.2 了解Spark作业运行流程
- 1．Standalone模式
- 2．YARN模式
- 1.3.3 了解Spark核心数据集RDD
- 1.3.4 了解Spark核心原理
- 小结
- 课后习题
- 选择题
- 02
- 2 2
- 安装与运行Scala
- 2.1.1 了解Scala语言
- 2.1.2 了解Scala特性
- 2.1.3 安装Scala
- 1．在网页上运行Scala
- 2．Scala环境设置
- 3．Scala安装
- 2.1.4 运行Scala
- 定义函数识别号码类型
- 2.2.1 了解数据类型
- 2.2.2 定义与使用常量、变量
- 2.2.3 使用运算符
- 2.2.4 定义与使用数组
- 2.2.5 定义与使用函数
- 1．匿名函数
- 2．高阶函数—函数作为参数
- 3．高阶函数—函数作为返回值
- 4．函数柯里化
- 2.2.6 任务实现
- 统计广州号码段数量
- 2.3.1 使用if判断
- 2.3.2 使用for循环
- 2.3.3 任务实现
- 根据归属地对手机号码段进行分组
- 2.4.1 定义与使用列表
- 2.4.2 定义与使用集合
- 2.4.3 定义与使用映射
- 2.4.4 定义与使用元组
- 2.4.5 使用函数组合器
- 1．map()方法
- 2．foreach()方法
- 3．filter()方法
- 4．flatten()方法
- 5．flatMap()方法
- 6．groupBy()方法
- 2.4.6 任务实现
- 编写手机号码归属地信息查询程序
- 2.5.1 定义Scala类
- 2.5.2 使用Scala单例模式
- 2.5.3 使用Scala模式匹配
- 2.5.4 读写文件
- 2.5.5 任务实现
- 小结
- 实训
- 实训1 使用Scala编写函数过滤文本中的回文单词
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 使用Scala编程输出九九乘法表
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 03
- 2
- 读取员工薪资数据创建RDD
- 3.1.1 从内存中读取数据创建RDD
- 1．parallelize()
- 2．makeRDD()
- 3.1.2 从外部存储系统中读取数据创建RDD
- 3.1.3 任务实现
- 查询上半年实际薪资排名前3的员工信息
- 3.2.1 使用map()方法转换数据
- 3.2.2 使用sortBy()方法进行排序
- 3.2.3 使用collect()方法查询数据
- 3.2.4 使用flatMap()方法转换数据
- 3.2.5 使用take()方法查询某几个值
- 3.2.6 任务实现
- 查询上半年或下半年实际薪资大于20万元的员工姓名
- 3.3.1 使用union()方法合并多个RDD
- 3.3.2 使用filter()方法进行过滤
- 3.3.3 使用distinct()方法进行去重
- 3.3.4 使用简单的集合操作
- 3.3.5 任务实现
- 输出每位员工2020年的总实际薪资
- 3.4.1 了解键值对RDD
- 3.4.2 创建键值对RDD
- 3.4.3 使用键值对RDD的keys和values方法
- 3.4.4 使用键值对RDD的reduceByKey()方法
- 3.4.5 使用键值对RDD的groupByKey()方法
- 3.4.6 任务实现
- 查询每位员工2020年的月均实际薪资
- 3.5.1 使用join()方法连接两个RDD
- 3.5.2 使用zip()方法组合两个RDD
- 3.5.3 使用combineByKey()方法合并相同键的值
- 3.5.4 使用lookup()方法查找指定键的值
- 3.5.5 任务实现
- 存储汇总后的员工薪资为文本文件
- 3.6.1 读取与存储JSON文件
- 3.6.2 读取与存储CSV文件
- 3.6.3 读取与存储SequenceFile文件
- 3.6.4 读取与存储文本文件
- 3.6.5 任务实现
- 小结
- 实训
- 实训1 通过Spark编程统计某月份的客户总消费金额
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 通过Spark编程计算各城市的平均气温
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 04
- 2
- 搭建Spark开发环境
- 4.1.1 下载与安装IntelliJ IDEA
- 4.1.2 Scala插件安装与使用
- 1．在线安装Scala插件
- 2．离线安装Scala插件
- 3．测试Scala插件
- 4.1.3 配置Spark运行环境
- 1．添加Spark开发依赖包
- 2．编写Spark程序
- 4.1.4 运行Spark程序
- 1．在开发环境中运行Spark
- 2．在集群环境中运行Spark
- 统计分析竞赛网站用户访问日志数据
- 4.2.1 设置RDD持久化
- 4.2.2 设置数据分区
- 4.2.3 计算竞赛网站每月的访问量
- 4.2.4 任务实现
- 小结
- 实训 自定义分区器实现按人物标签进行数据区分
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 05
- 2
- 认识Spark SQL
- 5.1.1 了解Spark SQL基本概念
- 5.1.2 配置Spark SQL
- 5.1.3 了解Spark SQL与Shell交互
- 掌握DataFrame基础操作
- 5.2.1 创建DataFrame对象
- 1．通过结构化数据文件创建DataFrame
- 2．通过外部数据库创建DataFrame
- 3．通过RDD创建DataFrame
- 4．通过Hive中的表创建DataFrame
- 5.2.2 查看DataFrame数据
- 1．printSchema：输出数据模式
- 2．show()：查看数据
- 3．first()/head()/take()/takeAsList()：获取若干条记录
- 4．collect()/collectAsList()：获取所有数据
- 5.2.3 掌握DataFrame查询操作
- 1．where()/filter()方法
- 2．select()/selectExpr()/col()/apply()方法
- 3．limit()方法
- 4．orderBy()/sort()方法
- 5．groupBy()方法
- 6．join()方法
- 5.2.4 掌握DataFrame输出操作
- 探索分析房屋售价数据
- 5.3.1 获取数据
- 5.3.2 探索字段值分布
- 5.3.3 统计各季度房屋销量和销售额
- 1．各季度房屋销量统计
- 2．各季度房屋销售额统计
- 5.3.4 探索分析房屋评分
- 5.3.5 探索修缮过的房屋房龄分布
- 1．修缮过的房屋房龄计算
- 2．分组统计
- 5.3.6 任务实现
- 小结
- 实训
- 实训1 基于DataFrame实现老师教学质量统计分析
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 基于DataFrame实现学生成绩统计分析
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 06
- 2
- 初识Spark Streaming
- 6.1.1 了解Spark Streaming基本概念
- 6.1.2 了解Spark Streaming运行原理
- 6.1.3 初步使用Spark Streaming
- 掌握DStream基础操作
- 6.2.1 了解DStream编程模型
- 6.2.2 使用DStream转换操作
- 6.2.3 使用DStream窗口操作
- 6.2.4 使用DStream输出操作
- 实现书籍热度实时计算
- 6.3.1 获取输入数据源
- 6.3.2 计算用户评分次数及平均评分
- 6.3.3 计算书籍被评分次数及平均评分
- 6.3.4 实时计算书籍热度
- 6.3.5 任务实现
- 小结
- 实训
- 实训1 使用Spark Streaming实现课程实时查找
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 使用Spark Streaming实时统计广告点击量前3名
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 07
- 2
- 认识Spark GraphX
- 7.1.1 了解图的基本概念
- 7.1.2 了解图计算的应用
- 1．淘宝图谱计算平台
- 2．新浪微博社交网络分析
- 3．淘宝、腾讯的推荐应用
- 7.1.3 了解GraphX的基础概念
- 7.1.4 了解GraphX的发展历程
- 了解GraphX常用API
- 7.2.1 创建与存储图
- 1．图的创建
- 2．图的缓存及释放
- 7.2.2 查询与转换数据
- 1．数据查询
- 2．数据转换
- 7.2.3 转换结构与关联聚合数据
- 1．结构转换
- 2．数据关联聚合
- 统计网页价值排名前10的网页
- 7.3.1 构建网页结构图
- 7.3.2 计算网页得分
- 7.3.3 找出排名前10的网页
- 7.3.4 任务实现
- 小结
- 实训
- 实训1 使用Spark GraphX实现家庭关系网络图构建及查询
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 使用Spark GraphX统计最具影响力用户
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 08
- 2
- 了解MLlib算法库
- 8.1.1 了解机器学习算法
- 1．机器学习概念
- 2．机器学习常用算法
- 8.1.2 使用MLlib
- 1．MLlib简介
- 2．MLlib发展历史
- 3．算法与算法包
- 4．MLlib中的模型评估
- 使用决策树算法实现网络攻击类型识别
- 8.2.1 分析思路
- 8.2.2 探索分析数据
- 1．数据存储
- 2．受威胁次数
- 3．上传流量和下载流量的比值均值
- 4．敏感文件被访问次数均值
- 8.2.3 数据特征处理
- 1．数据的归一化
- 2．构建完整特征字段
- 8.2.4 MLlib实现决策树
- 1．转换标签列
- 2．训练与预测模型
- 3．计算模型准确率
- 8.2.5 任务实现
- 小结
- 实训
- 实训1 使用K-Means划分电影热度等级
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 使用逻辑回归算法实现提升员工工作满意度
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 09
- 2
- 分析需求
- 9.1.1 常见的广告流量作弊方式
- 9.1.2 分析需求
- 探索分析广告流量数据
- 9.2.1 数据说明
- 9.2.2 基础探索数据
- 1．探索记录数
- 2．探索日流量
- 3．分析数据类型
- 4．统计缺失数据
- 5．分析冗余数据
- 9.2.3 探索作弊流量的数据特征
- 1．脚本刷新网页作弊
- 2．定期清除cookie，刷新网页作弊
- 3．ADSL重新拨号后刷新网页作弊
- 预处理数据并构建特征
- 9.3.1 删除缺失值字段
- 9.3.2 构建广告流量作弊识别特征
- 1．划分时间区间
- 2．构建特征
- 3．特征标准化
- 构建与评估分类模型
- 9.4.1 构建与评估逻辑回归模型
- 1．构建逻辑回归模型
- 2．评估逻辑回归模型
- 9.4.2 构建与评估随机森林模型
- 1．构建随机森林模型
- 2．评估随机森林模型
- 9.4.3 模型加载
- 小结
展开全部
Spark大数据技术与应用（第2版）（微课版）是2022年由人民邮电出版社出版,作者肖芳 张良均 主编。
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Spark大数据技术与应用（第2版）（微课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
本书通过大量的例题，讲解了Access数据库技术的相关知识以及使用Access2010开发数据库应用系统的完整过程。全书共分9章，主要内容包括数据库系统的基础知识、数据库操作、表、查询、窗体、报表、宏、VBA编程基础等相关知识。全书以一个完整的数据库应用系统为基础，以例题贯穿始终，书后配有适量的习题，使读者能够在学习过程中提高操作能力和实际应用能力。本书可作为高等学校非计算机专业计算机公共基础课程
电子书
本书通过大量的例题，讲解了Access数据库技术的相关知识以及使用Access2016开发数据库应用系统的全部过程。全书分为9章，主要内容包括数据库基础知识、Access2016数据库概述、数据库与数据表、数据查询、窗体、报表、宏的设计与应用、模块与VBA程序设计、VBA数据库编程等相关知识。全书以一个完整的数据库应用系统为基础，以例题贯穿始终，配备适量的习题，使读者能够在学习过程中提高操作能力和
电子书
本书以网上商城系统的数据库设计与建模、操作和管理为主线，串联全书内容，以诗词飞花令系统数据库的管理为辅线，巩固和深化数据库相关理论的学习和实践。通过双线设计，详细阐述了使用MySQL对应用系统进行数据库设计和维护的全过程。本书分为基础应用篇和高级应用篇两个部分，其中项目一至项目四为基础应用篇，项目五至项目八为高级应用篇，8个项目共28个任务，精选典型实例298个。
电子书
本书共10章，第1章介绍数据分析的概念等相关知识：第2-6章介绍Python数据分析的常用库及其应用，涵盖NumPy数组计算，pandas统计分析，使用pandas进行数据预处理，Matplotlib、seaborm与pyecharts数据可视化，以及使用scikit-learn构建模型，较为全面地阐述Python数据分析方法：第7-9章结合之前所学的数据分析技术，进行企业综合案例数据分析；第10
电子书
本书是中国人民大学王珊教授和山东建筑大学李盛恩教授联合修订的。本书侧重于数据库系统的应用，重点介绍了开发关系数据库系统必备的基本知识和基本方法，包括数据库系统的基本概念、基本技术及数据库应用开发技术，数据仓库和联机分析处理等数据库的新技术及新应用等。全书内容丰富，系统性强，知识体系新颖，理论与实践相结合，具有先进性和实用性。
电子书
本书以Access2016为实践环境，介绍数据库的基本操作和应用开发技术。全书共9章，主要内容包括数据库技术概论、数据库与表、查询、SQL查询、窗体、报表、宏、模块与VBA程序设计、数据库的管理与安全。本书参照教育部高等学校大学计算机课程教学指导委员会提出的数据库课程的教学基本要求，以Access2016数据库及数据库对象为主体，系统构建了Access2016数据库应用技术的知识体系，同时适度突出
电子书
本书共15章，比较系统地介绍SQLServer2012概述、数据库管理、建表基础、表的管理、数据更新、简单查询、多表复杂查询、视图、索引、T-SQL基础、游标、存储过程、触发器、SQLServer安全管理、SQLServer2012数据库维护等内容。
