本书通过大量的例题，讲解了Access数据库技术的相关知识以及使用Access2010开发数据库应用系统的完整过程。全书共分9章，主要内容包括数据库系统的基础知识、数据库操作、...
电子书
内容简介
本书共9章，内容包括：Spark概述、Scala基础、Spark编程基础、Spark编程进阶、Spark SQL——结构化数据文件处理、Spark Streaming——实时计算框架、Spark GraphX——图计算框架、Spark MLlib——功能强大的算法库，以及项目案例——广告检测的流量作弊识别。
章节目录
- a-fy
- 59510-bq
- c-bw
- d-xu
- e-qy
- f-ml
- 01
- 2
- 认识Spark
- 1.1.1 了解Spark的发展历史
- 1.1.2 了解Spark的特点
- 1．快速
- 2．易用
- 3．通用
- 4．随处运行
- 5．代码简洁
- 1.1.3 认识Spark的生态圈
- 1.1.4 了解Spark的应用场景
- 1．腾讯
- 2．雅虎
- 3．阿里巴巴
- 搭建Spark集群
- 1.2.1 搭建单机版集群
- 1.2.2 搭建单机伪分布式集群
- 1.2.3 搭建完全分布式集群
- 了解Spark运行架构与原理
- 1.3.1 了解Spark架构
- 1.3.2 了解Spark作业运行流程
- 1．Standalone模式
- 2．YARN模式
- 1.3.3 了解Spark核心数据集RDD
- 1.3.4 了解Spark核心原理
- 小结
- 课后习题
- 选择题
- 02
- 2 2
- 安装与运行Scala
- 2.1.1 了解Scala语言
- 2.1.2 了解Scala特性
- 2.1.3 安装Scala
- 1．在网页上运行Scala
- 2．Scala环境设置
- 3．Scala安装
- 2.1.4 运行Scala
- 定义函数识别号码类型
- 2.2.1 了解数据类型
- 2.2.2 定义与使用常量、变量
- 2.2.3 使用运算符
- 2.2.4 定义与使用数组
- 2.2.5 定义与使用函数
- 1．匿名函数
- 2．高阶函数—函数作为参数
- 3．高阶函数—函数作为返回值
- 4．函数柯里化
- 2.2.6 任务实现
- 统计广州号码段数量
- 2.3.1 使用if判断
- 2.3.2 使用for循环
- 2.3.3 任务实现
- 根据归属地对手机号码段进行分组
- 2.4.1 定义与使用列表
- 2.4.2 定义与使用集合
- 2.4.3 定义与使用映射
- 2.4.4 定义与使用元组
- 2.4.5 使用函数组合器
- 1．map()方法
- 2．foreach()方法
- 3．filter()方法
- 4．flatten()方法
- 5．flatMap()方法
- 6．groupBy()方法
- 2.4.6 任务实现
- 编写手机号码归属地信息查询程序
- 2.5.1 定义Scala类
- 2.5.2 使用Scala单例模式
- 2.5.3 使用Scala模式匹配
- 2.5.4 读写文件
- 2.5.5 任务实现
- 小结
- 实训
- 实训1 使用Scala编写函数过滤文本中的回文单词
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 使用Scala编程输出九九乘法表
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 03
- 2
- 读取员工薪资数据创建RDD
- 3.1.1 从内存中读取数据创建RDD
- 1．parallelize()
- 2．makeRDD()
- 3.1.2 从外部存储系统中读取数据创建RDD
- 3.1.3 任务实现
- 查询上半年实际薪资排名前3的员工信息
- 3.2.1 使用map()方法转换数据
- 3.2.2 使用sortBy()方法进行排序
- 3.2.3 使用collect()方法查询数据
- 3.2.4 使用flatMap()方法转换数据
- 3.2.5 使用take()方法查询某几个值
- 3.2.6 任务实现
- 查询上半年或下半年实际薪资大于20万元的员工姓名
- 3.3.1 使用union()方法合并多个RDD
- 3.3.2 使用filter()方法进行过滤
- 3.3.3 使用distinct()方法进行去重
- 3.3.4 使用简单的集合操作
- 3.3.5 任务实现
- 输出每位员工2020年的总实际薪资
- 3.4.1 了解键值对RDD
- 3.4.2 创建键值对RDD
- 3.4.3 使用键值对RDD的keys和values方法
- 3.4.4 使用键值对RDD的reduceByKey()方法
- 3.4.5 使用键值对RDD的groupByKey()方法
- 3.4.6 任务实现
- 查询每位员工2020年的月均实际薪资
- 3.5.1 使用join()方法连接两个RDD
- 3.5.2 使用zip()方法组合两个RDD
- 3.5.3 使用combineByKey()方法合并相同键的值
- 3.5.4 使用lookup()方法查找指定键的值
- 3.5.5 任务实现
- 存储汇总后的员工薪资为文本文件
- 3.6.1 读取与存储JSON文件
- 3.6.2 读取与存储CSV文件
- 3.6.3 读取与存储SequenceFile文件
- 3.6.4 读取与存储文本文件
- 3.6.5 任务实现
- 小结
- 实训
- 实训1 通过Spark编程统计某月份的客户总消费金额
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 通过Spark编程计算各城市的平均气温
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 04
- 2
- 搭建Spark开发环境
- 4.1.1 下载与安装IntelliJ IDEA
- 4.1.2 Scala插件安装与使用
- 1．在线安装Scala插件
- 2．离线安装Scala插件
- 3．测试Scala插件
- 4.1.3 配置Spark运行环境
- 1．添加Spark开发依赖包
- 2．编写Spark程序
- 4.1.4 运行Spark程序
- 1．在开发环境中运行Spark
- 2．在集群环境中运行Spark
- 统计分析竞赛网站用户访问日志数据
- 4.2.1 设置RDD持久化
- 4.2.2 设置数据分区
- 4.2.3 计算竞赛网站每月的访问量
- 4.2.4 任务实现
- 小结
- 实训 自定义分区器实现按人物标签进行数据区分
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 05
- 2
- 认识Spark SQL
- 5.1.1 了解Spark SQL基本概念
- 5.1.2 配置Spark SQL
- 5.1.3 了解Spark SQL与Shell交互
- 掌握DataFrame基础操作
- 5.2.1 创建DataFrame对象
- 1．通过结构化数据文件创建DataFrame
- 2．通过外部数据库创建DataFrame
- 3．通过RDD创建DataFrame
- 4．通过Hive中的表创建DataFrame
- 5.2.2 查看DataFrame数据
- 1．printSchema：输出数据模式
- 2．show()：查看数据
- 3．first()/head()/take()/takeAsList()：获取若干条记录
- 4．collect()/collectAsList()：获取所有数据
- 5.2.3 掌握DataFrame查询操作
- 1．where()/filter()方法
- 2．select()/selectExpr()/col()/apply()方法
- 3．limit()方法
- 4．orderBy()/sort()方法
- 5．groupBy()方法
- 6．join()方法
- 5.2.4 掌握DataFrame输出操作
- 探索分析房屋售价数据
- 5.3.1 获取数据
- 5.3.2 探索字段值分布
- 5.3.3 统计各季度房屋销量和销售额
- 1．各季度房屋销量统计
- 2．各季度房屋销售额统计
- 5.3.4 探索分析房屋评分
- 5.3.5 探索修缮过的房屋房龄分布
- 1．修缮过的房屋房龄计算
- 2．分组统计
- 5.3.6 任务实现
- 小结
- 实训
- 实训1 基于DataFrame实现老师教学质量统计分析
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 基于DataFrame实现学生成绩统计分析
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 06
- 2
- 初识Spark Streaming
- 6.1.1 了解Spark Streaming基本概念
- 6.1.2 了解Spark Streaming运行原理
- 6.1.3 初步使用Spark Streaming
- 掌握DStream基础操作
- 6.2.1 了解DStream编程模型
- 6.2.2 使用DStream转换操作
- 6.2.3 使用DStream窗口操作
- 6.2.4 使用DStream输出操作
- 实现书籍热度实时计算
- 6.3.1 获取输入数据源
- 6.3.2 计算用户评分次数及平均评分
- 6.3.3 计算书籍被评分次数及平均评分
- 6.3.4 实时计算书籍热度
- 6.3.5 任务实现
- 小结
- 实训
- 实训1 使用Spark Streaming实现课程实时查找
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 使用Spark Streaming实时统计广告点击量前3名
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 07
- 2
- 认识Spark GraphX
- 7.1.1 了解图的基本概念
- 7.1.2 了解图计算的应用
- 1．淘宝图谱计算平台
- 2．新浪微博社交网络分析
- 3．淘宝、腾讯的推荐应用
- 7.1.3 了解GraphX的基础概念
- 7.1.4 了解GraphX的发展历程
- 了解GraphX常用API
- 7.2.1 创建与存储图
- 1．图的创建
- 2．图的缓存及释放
- 7.2.2 查询与转换数据
- 1．数据查询
- 2．数据转换
- 7.2.3 转换结构与关联聚合数据
- 1．结构转换
- 2．数据关联聚合
- 统计网页价值排名前10的网页
- 7.3.1 构建网页结构图
- 7.3.2 计算网页得分
- 7.3.3 找出排名前10的网页
- 7.3.4 任务实现
- 小结
- 实训
- 实训1 使用Spark GraphX实现家庭关系网络图构建及查询
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 使用Spark GraphX统计最具影响力用户
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 08
- 2
- 了解MLlib算法库
- 8.1.1 了解机器学习算法
- 1．机器学习概念
- 2．机器学习常用算法
- 8.1.2 使用MLlib
- 1．MLlib简介
- 2．MLlib发展历史
- 3．算法与算法包
- 4．MLlib中的模型评估
- 使用决策树算法实现网络攻击类型识别
- 8.2.1 分析思路
- 8.2.2 探索分析数据
- 1．数据存储
- 2．受威胁次数
- 3．上传流量和下载流量的比值均值
- 4．敏感文件被访问次数均值
- 8.2.3 数据特征处理
- 1．数据的归一化
- 2．构建完整特征字段
- 8.2.4 MLlib实现决策树
- 1．转换标签列
- 2．训练与预测模型
- 3．计算模型准确率
- 8.2.5 任务实现
- 小结
- 实训
- 实训1 使用K-Means划分电影热度等级
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 实训2 使用逻辑回归算法实现提升员工工作满意度
- 1．训练要点
- 2．需求说明
- 3．实现思路及步骤
- 课后习题
- 1．选择题
- 2．操作题
- 09
- 2
- 分析需求
- 9.1.1 常见的广告流量作弊方式
- 9.1.2 分析需求
- 探索分析广告流量数据
- 9.2.1 数据说明
- 9.2.2 基础探索数据
- 1．探索记录数
- 2．探索日流量
- 3．分析数据类型
- 4．统计缺失数据
- 5．分析冗余数据
- 9.2.3 探索作弊流量的数据特征
- 1．脚本刷新网页作弊
- 2．定期清除cookie，刷新网页作弊
- 3．ADSL重新拨号后刷新网页作弊
- 预处理数据并构建特征
- 9.3.1 删除缺失值字段
- 9.3.2 构建广告流量作弊识别特征
- 1．划分时间区间
- 2．构建特征
- 3．特征标准化
- 构建与评估分类模型
- 9.4.1 构建与评估逻辑回归模型
- 1．构建逻辑回归模型
- 2．评估逻辑回归模型
- 9.4.2 构建与评估随机森林模型
- 1．构建随机森林模型
- 2．评估随机森林模型
- 9.4.3 模型加载
- 小结
展开全部
Spark大数据技术与应用（第2版）（微课版）是2022年由人民邮电出版社出版,作者肖芳 张良均 主编。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Spark大数据技术与应用（第2版）（微课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
本书通过大量的例题，讲解了Access数据库技术的相关知识以及使用Access2010开发数据库应用系统的完整过程。全书共分9章，主要内容包括数据库系统的基础知识、数据库操作、...
电子书
本书通过大量的例题，讲解了Access数据库技术的相关知识以及使用Access2016开发数据库应用系统的全部过程。全书分为9章，主要内容包括数据库基础知识、Access201...
电子书
本书介绍Hadoop、Spark两种大数据处理框架，共12章，内容包括：Hadoop大数据开发环境、HDFS大数据分布式存储、MapReduce分布式计算框架、HBase分布式...
电子书
本书共10章，第1章介绍数据分析的概念等相关知识：第2-6章介绍Python数据分析的常用库及其应用，涵盖NumPy数组计算，pandas统计分析，使用pandas进行数据预处...
电子书
本书是中国人民大学王珊教授和山东建筑大学李盛恩教授联合修订的。本书侧重于数据库系统的应用，重点介绍了开发关系数据库系统必备的基本知识和基本方法，包括数据库系统的基本概念、基本技...
电子书
本书共15章，比较系统地介绍SQLServer2012概述、数据库管理、建表基础、表的管理、数据更新、简单查询、多表复杂查询、视图、索引、T-SQL基础、游标、存储过程、触发器...