内容简介
本书共9章，内容包括：Spark概述、Scala基础、Spark编程基础、Spark编程进阶、Spark SQL——结构化数据文件处理、Spark Streaming——实时计算框架、Spark GraphX——图计算框架、Spark MLlib——功能强大的算法库，以及项目案例——广告检测的流量作弊识别。
展开全文
- a-fy
- 59510-bq
- c-bw
- d-xu
- e-qy
- f-ml
- 01
- 2
- 认识Spark
- 1.1.1 了解Spark的发展历史
- 1.1.2 了解Spark的特点
- 1．快速
- 2．易用
- 3．通用
- 4．随处运行
- 5．代码简洁
- 1.1.3 认识Spark的生态圈
- 1.1.4 了解Spark的应用场景
- 1．腾讯
- 2．雅虎
- 3．阿里巴巴
- 搭建Spark集群
- 1.2.1 搭建单机版集群
- 1.2.2 搭建单机伪分布式集群
- 1.2.3 搭建完全分布式集群
- 了解Spark运行架构与原理
- 1.3.1 了解Spark架构
- 1.3.2 了解Spark作业运行流程
- 1．Standalone模式
- 2．YARN模式
- 1.3.3 了解Spark核心数据集RDD
- 1.3.4 了解Spark核心原理
- 小结
- 课后习题
- 选择题
- 02
- 2 2
- 安装与运行Scala
- 2.1.1 了解Scala语言
- 2.1.2 了解Scala特性
- 2.1.3 安装Scala
- 1．在网页上运行Scala
- 2．Scala环境设置
- 3．Scala安装
- 2.1.4 运行Scala
- 定义函数识别号码类型
- 2.2.1 了解数据类型
- 2.2.2 定义与使用常量、变量
- 2.2.3 使用运算符
- 2.2.4 定义与使用数组
- 2.2.5 定义与使用函数
- 1．匿名函数
- 2．高阶函数—函数作为参数
- 3．高阶函数—函数作为返回值
- 4．函数柯里化
- 2.2.6 任务实现
- 统计广州号码段数量
- 2.3.1 使用if判断
- 2.3.2 使用for循环
- 2.3.3 任务实现
- 根据归属地对手机号码段进行分组
- 2.4.1 定义与使用列表
- 2.4.2 定义与使用集合
- 2.4.3 定义与使用映射
- 2.4.4 定义与使用元组
- 2.4.5 使用函数组合器
- 1．map()方法
- 2．foreach()方法
- 3．filter()方法
- 4．flatten()方法
- 5．flatMap()方法
- 6．groupBy()方法
- 2.4.6 任务实现
- 编写手机号码归属地信息查询程序
- 2.5.1 定义Scala类
- 2.5.2 使用Scala单例模式
- 2.5.3 使用Scala模式匹配
- 2.5.4 读写文件
- 2.5.5 任务实现
- 小结
- 实训
- 实训1 使用Scala编写函数过滤文本中的回文单词
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 使用Scala编程输出九九乘法表
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 03
- 2
- 读取员工薪资数据创建RDD
- 3.1.1 从内存中读取数据创建RDD
- 1．parallelize()
- 2．makeRDD()
- 3.1.2 从外部存储系统中读取数据创建RDD
- 3.1.3 任务实现
- 查询上半年实际薪资排名前3的员工信息
- 3.2.1 使用map()方法转换数据
- 3.2.2 使用sortBy()方法进行排序
- 3.2.3 使用collect()方法查询数据
- 3.2.4 使用flatMap()方法转换数据
- 3.2.5 使用take()方法查询某几个值
- 3.2.6 任务实现
- 查询上半年或下半年实际薪资大于20万元的员工姓名
- 3.3.1 使用union()方法合并多个RDD
- 3.3.2 使用filter()方法进行过滤
- 3.3.3 使用distinct()方法进行去重
- 3.3.4 使用简单的集合操作
- 3.3.5 任务实现
- 输出每位员工2020年的总实际薪资
- 3.4.1 了解键值对RDD
- 3.4.2 创建键值对RDD
- 3.4.3 使用键值对RDD的keys和values方法
- 3.4.4 使用键值对RDD的reduceByKey()方法
- 3.4.5 使用键值对RDD的groupByKey()方法
- 3.4.6 任务实现
- 查询每位员工2020年的月均实际薪资
- 3.5.1 使用join()方法连接两个RDD
- 3.5.2 使用zip()方法组合两个RDD
- 3.5.3 使用combineByKey()方法合并相同键的值
- 3.5.4 使用lookup()方法查找指定键的值
- 3.5.5 任务实现
- 存储汇总后的员工薪资为文本文件
- 3.6.1 读取与存储JSON文件
- 3.6.2 读取与存储CSV文件
- 3.6.3 读取与存储SequenceFile文件
- 3.6.4 读取与存储文本文件
- 3.6.5 任务实现
- 小结
- 实训
- 实训1 通过Spark编程统计某月份的客户总消费金额
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 通过Spark编程计算各城市的平均气温
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 04
- 2
- 搭建Spark开发环境
- 4.1.1 下载与安装IntelliJ IDEA
- 4.1.2 Scala插件安装与使用
- 1．在线安装Scala插件
- 2．离线安装Scala插件
- 3．测试Scala插件
- 4.1.3 配置Spark运行环境
- 1．添加Spark开发依赖包
- 2．编写Spark程序
- 4.1.4 运行Spark程序
- 1．在开发环境中运行Spark
- 2．在集群环境中运行Spark
- 统计分析竞赛网站用户访问日志数据
- 4.2.1 设置RDD持久化
- 4.2.2 设置数据分区
- 4.2.3 计算竞赛网站每月的访问量
- 4.2.4 任务实现
- 小结
- 实训 自定义分区器实现按人物标签进行数据区分
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 05
- 2
- 认识Spark SQL
- 5.1.1 了解Spark SQL基本概念
- 5.1.2 配置Spark SQL
- 5.1.3 了解Spark SQL与Shell交互
- 掌握DataFrame基础操作
- 5.2.1 创建DataFrame对象
- 1．通过结构化数据文件创建DataFrame
- 2．通过外部数据库创建DataFrame
- 3．通过RDD创建DataFrame
- 4．通过Hive中的表创建DataFrame
- 5.2.2 查看DataFrame数据
- 1．printSchema：输出数据模式
- 2．show()：查看数据
- 3．first()/head()/take()/takeAsList()：获取若干条记录
- 4．collect()/collectAsList()：获取所有数据
- 5.2.3 掌握DataFrame查询操作
- 1．where()/filter()方法
- 2．select()/selectExpr()/col()/apply()方法
- 3．limit()方法
- 4．orderBy()/sort()方法
- 5．groupBy()方法
- 6．join()方法
- 5.2.4 掌握DataFrame输出操作
- 探索分析房屋售价数据
- 5.3.1 获取数据
- 5.3.2 探索字段值分布
- 5.3.3 统计各季度房屋销量和销售额
- 1．各季度房屋销量统计
- 2．各季度房屋销售额统计
- 5.3.4 探索分析房屋评分
- 5.3.5 探索修缮过的房屋房龄分布
- 1．修缮过的房屋房龄计算
- 2．分组统计
- 5.3.6 任务实现
- 小结
- 实训
- 实训1 基于DataFrame实现老师教学质量统计分析
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 基于DataFrame实现学生成绩统计分析
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 06
- 2
- 初识Spark Streaming
- 6.1.1 了解Spark Streaming基本概念
- 6.1.2 了解Spark Streaming运行原理
- 6.1.3 初步使用Spark Streaming
- 掌握DStream基础操作
- 6.2.1 了解DStream编程模型
- 6.2.2 使用DStream转换操作
- 6.2.3 使用DStream窗口操作
- 6.2.4 使用DStream输出操作
- 实现书籍热度实时计算
- 6.3.1 获取输入数据源
- 6.3.2 计算用户评分次数及平均评分
- 6.3.3 计算书籍被评分次数及平均评分
- 6.3.4 实时计算书籍热度
- 6.3.5 任务实现
- 小结
- 实训
- 实训1 使用Spark Streaming实现课程实时查找
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 使用Spark Streaming实时统计广告点击量前3名
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 07
- 2
- 认识Spark GraphX
- 7.1.1 了解图的基本概念
- 7.1.2 了解图计算的应用
- 1．淘宝图谱计算平台
- 2．新浪微博社交网络分析
- 3．淘宝、腾讯的推荐应用
- 7.1.3 了解GraphX的基础概念
- 7.1.4 了解GraphX的发展历程
- 了解GraphX常用API
- 7.2.1 创建与存储图
- 1．图的创建
- 2．图的缓存及释放
- 7.2.2 查询与转换数据
- 1．数据查询
- 2．数据转换
- 7.2.3 转换结构与关联聚合数据
- 1．结构转换
- 2．数据关联聚合
- 统计网页价值排名前10的网页
- 7.3.1 构建网页结构图
- 7.3.2 计算网页得分
- 7.3.3 找出排名前10的网页
- 7.3.4 任务实现
- 小结
- 实训
- 实训1 使用Spark GraphX实现家庭关系网络图构建及查询
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 使用Spark GraphX统计最具影响力用户
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 08
- 2
- 了解MLlib算法库
- 8.1.1 了解机器学习算法
- 1．机器学习概念
- 2．机器学习常用算法
- 8.1.2 使用MLlib
- 1．MLlib简介
- 2．MLlib发展历史
- 3．算法与算法包
- 4．MLlib中的模型评估
- 使用决策树算法实现网络攻击类型识别
- 8.2.1 分析思路
- 8.2.2 探索分析数据
- 1．数据存储
- 2．受威胁次数
- 3．上传流量和下载流量的比值均值
- 4．敏感文件被访问次数均值
- 8.2.3 数据特征处理
- 1．数据的归一化
- 2．构建完整特征字段
- 8.2.4 MLlib实现决策树
- 1．转换标签列
- 2．训练与预测模型
- 3．计算模型准确率
- 8.2.5 任务实现
- 小结
- 实训
- 实训1 使用K-Means划分电影热度等级
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 使用逻辑回归算法实现提升员工工作满意度
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 09
- 2
- 分析需求
- 9.1.1 常见的广告流量作弊方式
- 9.1.2 分析需求
- 探索分析广告流量数据
- 9.2.1 数据说明
- 9.2.2 基础探索数据
- 1．探索记录数
- 2．探索日流量
- 3．分析数据类型
- 4．统计缺失数据
- 5．分析冗余数据
- 9.2.3 探索作弊流量的数据特征
- 1．脚本刷新网页作弊
- 2．定期清除cookie，刷新网页作弊
- 3．ADSL重新拨号后刷新网页作弊
- 预处理数据并构建特征
- 9.3.1 删除缺失值字段
- 9.3.2 构建广告流量作弊识别特征
- 1．划分时间区间
- 2．构建特征
- 3．特征标准化
- 构建与评估分类模型
- 9.4.1 构建与评估逻辑回归模型
- 1．构建逻辑回归模型
- 2．评估逻辑回归模型
- 9.4.2 构建与评估随机森林模型
- 1．构建随机森林模型
- 2．评估随机森林模型
- 9.4.3 模型加载
- 小结
展开全部
版权信息
出版社：人民邮电出版社
出版时间：2022
作者：肖芳 张良均 主编
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Spark大数据技术与应用（第2版）（微课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
出版时间：2022
作者：肖芳 张良均 主编
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Spark大数据技术与应用（第2版）（微课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
Spark大数据技术与应用（第2版）（微课版）
免费读 (VIP)