本书主要内容包括数控机床的工作原理、数控车床仿真操作与编程、数控铣床（加工中心）仿真操作与编程。全书以FANUC数控系统为重点，按照理论实训一体化的模式编写。附录中给出了数控车...
电子书
内容简介
本书以Scala作为开发Spark应用程序的编程语言，系统地介绍了Spark编程的基础知识。全书共9章，内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Structured Streaming和Spark MLlib。 本书每章都安排了入门级的编程实践操作，以便使读者能更好地学习和更牢固地掌握Spark编程方法。本书配套官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。 本书可以作为高等院校计算机、软件工程、数据科学与大数据技术等专业的进阶级大数据课程教材，用于指导Spark编程实践，也可供相关技术人员参考。
章节目录
- 第2章 Scala语言基础
- 2.1 Scala 语言概述
- 2.1.1 计算机的缘起
- 2.1.2 编程范式
- 2.1.3 Scala 简介
- 2.1.4 Scala 的安装
- 2.1.5 编写及运行HelloWorld 程序
- 2.2 Scala 基础知识
- 2.2.1 基本数据类型和变量
- 2.2.2 I/O
- 2.2.3 控制结构
- 2.2.4 数据结构
- 2.3 面向对象编程基础
- 2.3.1 类
- 2.3.2 对象
- 2.3.3 继承
- 2.3.4 参数化类型
- 2.3.5 特质
- 2.3.6 模式匹配
- 2.3.7 包
- 2.4 函数式编程基础
- 2.4.1 函数的定义与使用
- 2.4.2 高阶函数
- 2.4.3 闭包
- 2.4.4 偏应用函数和柯里化
- 2.4.5 针对容器的操作
- 2.4.6 函数式编程实例
- 2.5 本章小结
- 2.6 习题
- 实验2 Scala 编程初级实践
- 第3章 Spark的设计与运行原理
- 3.1 概述
- 3.2 Spark 生态系统
- 3.3 Spark 运行架构
- 3.3.1 基本概念
- 3.3.2 架构设计
- 3.3.3 Spark 运行基本流程
- 3.3.4 RDD 的设计与运行原理
- 3.4 Spark 的部署模式
- 3.5 TensorFlowOnSpark
- 3.6 本章小结
- 3.7 习题
- 第4章 Spark环境搭建和使用方法
- 4.1 安装Spark
- 4.1.1 基础环境
- 4.1.2 下载安装文件
- 4.1.3 配置相关文件
- 4.1.4 Spark 和Hadoop 的交互
- 4.2 在spark-shell 中运行代码
- 4.2.1 “spark-shell”命令
- 4.2.2 启动spark-shell
- 4.2.3 Spark 用户界面
- 4.3 开发Spark 独立应用程序
- 4.3.1 安装编译打包工具
- 4.3.2 编写Spark 应用程序代码
- 4.3.3 编译打包
- 4.3.4 通过“spark-submit”命令提交并运行程序
- 4.4 Spark 集群环境搭建
- 4.4.1 集群概况
- 4.4.2 搭建Hadoop 集群
- 4.4.3 在集群中安装Spark
- 4.4.4 配置环境变量
- 4.4.5 Spark 的配置
- 4.4.6 启动Spark 集群
- 4.4.7 关闭Spark 集群
- 4.5 在集群上运行Spark 应用程序
- 4.5.1 启动Spark 集群
- 4.5.2 在集群中运行应用程序JAR 包
- 4.5.3 在集群中运行spark-shell
- 4.5.4 查看应用程序的运行情况
- 4.6 本章小结
- 4.7 习题
- 实验3 Spark 和Hadoop 的安装
- 第5章 RDD编程
- 5.1 RDD 编程基础
- 5.1.1 RDD 创建
- 5.1.2 RDD 操作
- 5.1.3 持久化
- 5.1.4 分区
- 5.1.5 一个综合实例
- 5.2 键值对RDD
- 5.2.1 键值对RDD 的创建
- 5.2.2 常用的键值对RDD 转换操作
- 5.2.3 一个综合实例
- 5.3 数据读写
- 5.3.1 本地文件系统的数据读写
- 5.3.2 HDFS 的数据读写
- 5.3.3 读写MySQL 数据库
- 5.4 综合实例
- 5.4.1 求Top N 个数据的值
- 5.4.2 文件排序
- 5.4.3 二次排序
- 5.5 本章小结
- 实验4 RDD 编程初级实践
- 第6章 Spark SQL
- 6.1 Spark SQL 简介
- 6.1.1 从Shark 说起
- 6.1.2 Spark SQL 的架构
- 6.1.3 为什么推出Spark SQL
- 6.1.4 Spark SQL 的特点
- 6.1.5 Spark SQL 简单编程实例
- 6.2 结构化数据DataFrame
- 6.2.1 DataFrame 概述
- 6.2.2 DataFrame 的优点
- 6.3 DataFrame 的创建和保存
- 6.3.1 Parquet
- 6.3.2 JSON
- 6.3.3 CSV
- 6.3.4 文本文件
- 6.3.5 序列集合
- 6.4 DataFrame 的基本操作
- 6.4.1 DSL 语法风格
- 6.4.2 SQL 语法风格
- 6.5 从RDD 转换得到DataFrame
- 6.5.1 利用反射机制推断RDD 模式
- 6.5.2 使用编程方式定义RDD 模式
- 6.6 使用Spark SQL 读写数据库
- 6.6.1 准备工作
- 6.6.2 读取MySQL 数据库中的数据
- 6.6.3 向MySQL 数据库写入数据
- 6.6.4 编写独立应用程序访问MySQL
- 6.7 DataSet
- 6.7.1 DataFrame、DataSet 和RDD 的区别
- 6.7.2 创建DataSet
- 6.7.3 RDD、DataFrame 和DataSet 之间的相互转换
- 6.7.4 词频统计实例
- 6.8 本章小结
- 6.9 习题
- 实验5 Spark SQL 编程初级实践
- 第7章 Spark Streaming
- 7.1 流计算概述
- 7.1.1 静态数据和流数据
- 7.1.2 批量计算和实时计算
- 7.1.3 流计算概念
- 7.1.4 流计算框架
- 7.1.5 流计算处理流程
- 7.2 Spark Streaming
- 7.2.1 Spark Streaming 简介
- 7.2.2 Spark Streaming 与Storm 的对比
- 7.2.3 从Hadoop+Storm 架构转向Spark 架构
- 7.3 DStream 操作概述
- 7.3.1 Spark Streaming 工作机制
- 7.3.2 编写Spark Streaming 程序的基本步骤
- 7.3.3 创建StreamingContext 对象
- 7.4 基本数据源
- 7.4.1 文件流
- 7.4.2 套接字流
- 7.4.3 RDD 队列流
- 7.5 高级数据源
- 7.5.1 Kafka 简介
- 7.5.2 Kafka 准备工作
- 7.5.3 Spark 准备工作
- 7.5.4 编写Spark Streaming 程序使用Kafka 数据源
- 7.6 转换操作
- 7.6.1 DStream 无状态转换操作
- 7.6.2 DStream 有状态转换操作
- 7.7 输出操作
- 7.7.1 把DStream 输出到文本文件中
- 7.7.2 把Dstream 输出到关系数据库中
- 7.8 本章小结
- 7.9 习题
- 实验6 Spark Streaming 编程初级实践
- 第8章 Structured Streaming
- 8.1 概述
- 8.1.1 Spark Streaming 的不足之处
- 8.1.2 Structured Streaming 的设计理念
- 8.1.3 Structured Streaming 的处理模型
- 8.1.4 Structured Streaming 和Spark SQL、Spark Streaming 的关系
- 8.1.5 Structured Streaming 与其他流处理技术的对比
- 8.2 Structured Streaming 程序的编写与测试运行
- 8.2.1 编写程序
- 8.2.2 测试运行
- 8.3 输入源
- 8.3.1 File 源
- 8.3.2 Kafka 源
- 8.3.3 Socket 源
- 8.3.4 Rate 源
- 8.4 输出操作
- 8.4.1 启动流计算
- 8.4.2 输出模式
- 8.4.3 输出接收器
- 8.5 容错处理
- 8.5.1 通过检查点恢复故障
- 8.5.2 故障恢复中的限制
- 8.6 迟到数据处理
- 8.6.1 事件时间
- 8.6.2 迟到数据
- 8.6.3 水印
- 8.6.4 多水印规则
- 8.6.5 处理迟到数据的例子
- 8.7 查询的管理和监控
- 8.7.1 管理和监控的方法
- 8.7.2 一个监控的实例
- 8.8 本章小结
- 8.9 习题
- 实验7 Structured Streaming 编程初级实践
- 第9章 Spark MLlib
- 9.1 基于大数据的机器学习
- 9.2 机器学习库MLlib 概述
- 9.3 基本的数据类型
- 9.3.1 本地向量
- 9.3.2 标注点
- 9.3.3 本地矩阵
- 9.3.4 数据源
- 9.4 基本的统计分析工具
- 9.4.1 相关性
- 9.4.2 假设检验
- 9.4.3 汇总统计
- 9.5 机器学习流水线
- 9.5.1 流水线的概念
- 9.5.2 流水线的工作过程
- 9.6 特征提取、转换和选择及局部敏感哈希
- 9.6.1 特征提取
- 9.6.2 特征转换
- 9.6.3 特征选择
- 9.6.4 局部敏感哈希
- 9.7 分类算法
- 9.7.1 逻辑斯谛回归分类算法
- 9.7.2 决策树分类算法
- 9.8 聚类算法
- 9.8.1 K-Means 聚类算法
- 9.8.2 GMM 聚类算法
- 9.9 频繁模式挖掘算法
- 9.9.1 FP-Growth 算法
- 9.9.2 PrefixSpan 算法
- 9.10 协同过滤算法
- 9.10.1 协同过滤算法的原理
- 9.10.2 ALS 算法
- 9.11 模型选择
- 9.11.1 模型选择工具
- 9.11.2 用交叉验证选择模型
- 9.12 本章小结
- 9.13 习题
- 实验8 Spark 机器学习库MLlib 编程初级实践
展开全部
Spark编程基础 （Scala版 第2版）（附微课视频）是2022年由人民邮电出版社出版,作者编著。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Spark编程基础 （Scala版 第2版）（附微课视频）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
本书主要内容包括数控机床的工作原理、数控车床仿真操作与编程、数控铣床（加工中心）仿真操作与编程。全书以FANUC数控系统为重点，按照理论实训一体化的模式编写。附录中给出了数控车...
电子书
本书共10章，介绍了从零件材料的选用到最终制成产品全过程的基础知识，主要内容包括工程材料，各种毛坯成形的生产工艺知识，金属切削基础知识，外圆面、孔、平面、螺纹和齿轮等各种典型成...
电子书
本书共9章，包括绪论、铁路线路、铁路车辆、铁路机车、铁路车站与枢纽、铁路信号与通信设备、铁路运输组织工作等，涵盖铁路发展史、铁路运输相关设备、铁路运输组织工作、高速铁路与重载铁...
电子书
本书按照职业教育的培养目标，以电气自动化技术专业工作岗位的能力需求为依据进行编写，突出技术的应用性和针对性，强化实践能力培养。全书共分为7个模块，主要内容包括电机分析中常用的电...
电子书
本书采用项目式的编写方法，任务实施部分采用实训手册式编写。本书系统地介绍了电工技术的基本概念、基本理论、基本方法及其在实际中的应用。本书共7个项目，主要内容包括认识电路元件及万...
电子书
本书包括9个模块，主要内容有制图的基本知识与基本技能、正投影的基础知识、立体的投影、轴测图、组合体三视图、机械图样的基本表示法、标准件与常用件、零件图和装配图。