内容简介
本书从实用角度出发，介绍了Scala+Spark开发的相关知识、方法和实战经验，包括大数据开发基础、Scala基本概念、Idea使用、Scala基础语法和api使用、Scala编程示例、Spark基本概念及运行机制、Spark快速学习路线图、Spark开发及运行环境构建、Spark RDD的概念及详细使用、Spark结构化数据处理（包括Spark SQL、Spark Dataframe和Spark Dataset）、Spark Stream、Spark机器学习库（mllib和ml）、SparkR、Spark高级编程、Spark并行程序设计方法、Spark程序调试、优化方法、Spark编程示例及综合应用等内容。
本书提供了Spark相关的47个示例和10个实验，涵盖Spark编程的各个知识点，这些示例和实验来源于我们团队5年Spark项目开发、3年Spark全国编程大赛的实例和经验总结，具有很强的实用性，可以帮助读者全面、深入地掌握Spark编程技能，迅速积累Spark开发经验。
展开全文
- 封面
- 作者简介
- 题名页
- 版权页
- 前言
- 目录
- 第1章 Spark与大数据
- 1.1 大数据开发基础
- 1.1.1 什么是大数据
- 1.1.2 大数据开发的通用步骤
- 1.1.3 大数据开发技术
- 1.2 初识Spark
- 1.2.1 Spark是什么
- 1.2.2 Spark的技术特点
- 1.3 Spark技术栈
- 1.4 Spark重要组件
- 1.4.1 Spark Core
- 1.4.2 Spark SQL
- 1.4.3 GraphX
- 1.4.4 流数据处理
- 1.4.5 SparkR
- 1.4.6 MLlib/ML
- 1.4.7 Spark交互工具
- 1.5 Spark和Scala
- 1.5.1 Scala语言简介
- 1.5.2 为什么用Scala开发Spark框架
- 1.5.3 为什么用Scala开发Spark程序
- 1.5.4 Scala开发Spark程序所涉及的技术
- 1.5.5 Scala语言基础
- 1.6 如何快速掌握Spark
- 1.6.1 Spark学习的痛点
- 1.6.2 Spark快速学习路线图
- 1.6.3 Spark学习中的关键点
- 1.6.4 利用本书相关资源高效学习Spark
- 1.6.5 本书所使用的软件和版本
- 1.7 练习
- 第2章 构建Spark运行环境
- 2.1 Spark程序运行时架构
- 2.2 构建Spark大数据运行环境
- 2.2.1 构建HDFS
- 2.2.2 构建Yarn
- 2.2.3 构建Spark集群
- 2.3 运行Spark程序（Local方式）
- 2.4 运行Spark程序（分布式方式）
- 2.4.1 Spark on Yarn
- 2.4.2 Spark on Standalone
- 2.5 Spark程序在spark-shell上运行
- 2.6 使用Web UI监控Spark程序运行
- 2.7 扩展集群节点
- 2.8 练习
- 第3章 开发第一个Spark程序
- 3.1 在命令行模式下开发Spark程序
- 3.1.1 构建Scala程序编译环境
- 3.1.2 使用Vim编写Spark程序
- 3.1.3 使用命令编译、打包Spark程序
- 3.1.4 运行Spark程序
- 3.1.5 使用java命令运行Spark程序
- 3.1.6 Spark程序编译、运行、部署的关键点
- 3.2 使用IDEA开发Spark程序
- 3.2.1 IDEA安装和基本使用
- 3.2.2 使用IDEA编辑Spark代码
- 3.2.3 IDEA编译、打包
- 3.2.4 IDEA远程提交Spark程序
- 3.3 练习
- 第4章 深入理解Spark程序代码
- 4.1 Spark程序代码结构
- 4.2 Spark程序代码的核心概念
- 4.2.1 RDD
- 4.2.2 Application
- 4.2.3 Job
- 4.2.4 DAG
- 4.2.5 Stage
- 4.2.6 Task
- 4.2.7 Application、Job、Stage和Task的并行粒度和并行条件
- 4.3 Spark程序代码执行过程
- 4.4 练习
- 第5章 RDD编程
- 5.1 RDD核心概念
- 5.1.1 Transformation的基本概念
- 5.1.2 Action的基本概念
- 5.1.3 Partition的基本概念
- 5.2 创建RDD
- 5.2.1 使用parallelize/makeRDD创建RDD
- 5.2.2 使用textFile创建RDD
- 5.2.3 其他RDD创建操作
- 5.3 RDD Partition
- 5.3.1 Partition的基本操作
- 5.3.2 Partition的分区过程
- 5.3.3 Partition和Task
- 5.3.4 计算Partition的个数
- 5.3.5 Partition的综合应用
- 5.4 Transformation操作
- 5.4.1 map操作
- 5.4.2 flatMap操作
- 5.4.3 mapPartitions操作
- 5.4.4 join操作
- 5.4.5 union操作
- 5.4.6 intersection操作
- 5.4.7 groupBy操作
- 5.4.8 groupByKey操作
- 5.4.9 reduceByKey操作
- 5.4.10 aggregateByKey操作
- 5.4.11 cogroup操作
- 5.5 Action操作
- 5.5.1 collect操作
- 5.5.2 reduce操作
- 5.5.3 fold操作
- 5.5.4 aggregate操作
- 5.5.5 foreachPartition操作
- 5.5.6 saveAsTextFile操作
- 5.5.7 saveAsObjectFile操作
- 5.6 RDD的cache/persist和checkpoint操作
- 5.6.1 cache/persist和checkpoint概述
- 5.6.2 cache/persist使用注意事项
- 5.6.3 cache/persist操作
- 5.6.4 checkpoint操作
- 5.7 练习
- 第6章 Spark SQL结构化数据处理
- 6.1 Spark SQL的核心概念
- 6.1.1 结构化数据和非结构化数据
- 6.1.2 DataFrame
- 6.1.3 Dataset
- 6.1.4 Persistent Table和Data Warehouse
- 6.1.5 SQL
- 6.1.6 SparkSession
- 6.2 Spark SQL数据处理概述
- 6.2.1 Spark SQL数据处理环境
- 6.2.2 Spark SQL处理结构化数据
- 6.2.3 Spark SQL处理不同数据源的数据
- 6.3 构建Spark SQL运行环境
- 6.3.1 Spark SQL运行环境概述
- 6.3.2 构建最简的Spark SQL运行环境
- 6.3.3 构建兼容Hive的Spark SQL运行环境
- 6.4 DataFrame/Dataset快速上手
- 6.4.1 DataFrame/Dataset使用概述
- 6.4.2 在spark-shell中使用DataFrame/Dataset
- 6.4.3 在代码中使用DataFrame/Dataset
- 6.4.4 DataFrame/Dataset使用上的区别
- 6.4.5 DataFrame行解析方法
- 6.4.6 DataFrame和Dataset转换
- 6.5 DataFrame/Dataset与数据源的转换
- 6.5.1 DataFrame/Dataset与数据源的转换关系和方法概述
- 6.5.2 DataFrame/Dataset与Seq的转换
- 6.5.3 DataFrame/Dataset与RDD的转换
- 6.5.4 DataFrame/Dataset文件与Sequence文件的转换
- 6.5.5 DataFrame/Dataset与CSV文件的转换
- 6.5.6 DataFrame/Dataset与JSON文件的转换
- 6.5.7 DataFrame/Dataset与ORC文件的转换
- 6.5.8 DataFrame/Dataset与Parquet文件的转换
- 6.5.9 DataFrame/Dataset与Avro文件的转换
- 6.5.10 DataFrame/Dataset与MySQL数据库的转换
- 6.5.11 DataFrame/Dataset与Hive表的转换
- 6.5.12 DataFrame/Dataset与Built-in data source表的转换
- 6.6 DataFrame/Dataset常用API
- 6.6.1 Action
- 6.6.2 Basic Dataset function
- 6.6.3 Typed Transformation
- 6.6.4 Untyped Transformation
- 6.7 SQL操作
- 6.7.1 常用DDL使用说明及示例
- 6.7.2 DQL使用说明及示例
- 6.7.3 常用DML使用说明及示例
- 6.8 练习
- 第7章 Spark Streaming
- 7.1 Spark Streaming基础
- 7.1.1 流数据定义及其特点
- 7.1.2 Spark Streaming的工作流程
- 7.1.3 Spark Streaming的核心概念
- 7.2 编写一个Spark Streaming程序
- 7.3 Spark Streaming Web UI的使用
- 7.3.1 Spark Streaming Web UI使用前准备
- 7.3.2 Spark Streaming Web UI参数说明
- 7.4 多路流数据合并处理示例
- 7.4.1 示例实现说明
- 7.4.2 示例分析：多数据流中Batch Job的执行
- 7.5 DStream Transformation操作
- 7.5.1 DStream Transformation实现原理
- 7.5.2 DStream常见的Transformation操作及说明
- 7.5.3 Spark Streaming的窗口（Window）操作及示例
- 7.6 DStream Output 操作
- 7.7 练习
- 第8章 Structured Streaming
- 8.1 Structured Streaming基础
- 8.1.1 Structured Streaming处理流程
- 8.1.2 Structured Streaming基本概念
- 8.1.3 Structured Streaming技术特性
- 8.2 Structured Streaming接入Text File数据源
- 8.3 Structured Streaming接入Rate数据源
- 8.4 使用Schema解析JSON格式数据源
- 8.5 使用DataFrame/Dataset处理流数据
- 8.6 Structured Streaming Window操作
- 8.7 Structured Streaming Watermarking操作
- 8.8 Structured Streaming JOIN操作
- 8.8.1 Streaming数据与Static数据的JOIN操作示例
- 8.8.2 Streaming数据与Streaming数据的JOIN操作示例
- 8.9 练习
- 第9章 SparkR
- 9.1 SparkR基础
- 9.1.1 为什么需要SparkR
- 9.1.2 什么是SparkR
- 9.1.3 SparkR和R的关系
- 9.1.4 SparkR的技术特征
- 9.1.5 SparkR程序运行时架构
- 9.2 构建SparkR程序开发和运行环境
- 9.3 SparkR代码的执行方式
- 9.3.1 在RStudio-server上执行SparkR代码
- 9.3.2 在R Shell上执行SparkR代码
- 9.3.3 使用spark-submit执行SparkR代码
- 9.3.4 在sparkR上执行SparkR代码
- 9.4 SparkR的基本使用
- 9.4.1 SparkR编程的基本流程
- 9.4.2 创建SparkDataFrame
- 9.4.3 SparkDataFrame的基本操作
- 9.4.4 在Spark上分布式执行R函数
- 9.4.5 SQL查询
- 9.5 SparkR机器学习算子
- 9.5.1 SparkR常用的机器学习算子
- 9.5.2 SparkR机器学习算子的使用
- 9.6 利用SparkR实现单词统计和图形输出
- 9.7 练习
- 第10章 GraphX
- 10.1 GraphX基础
- 10.1.1 图的定义和传统表示方法
- 10.1.2 图计算
- 10.1.3 有向多重图
- 10.1.4 GraphX特性
- 10.1.5 GraphX框架
- 10.2 GraphX的基本数据结构
- 10.2.1 VertexRDD
- 10.2.2 EdgeRDD
- 10.2.3 Graph
- 10.3 GraphX实现最短路径算法——SGDSP
- 10.4 GraphX Pregel的原理及使用
- 10.4.1 GraphX Pregel接口说明
- 10.4.2 GraphX Pregel的处理流程
- 10.4.3 GraphX Pregel的使用
- 10.5 GraphX Pregel实现最短路径算法——SGPSP
- 10.6 练习
- 参考文献
- 后折页
- 封底
展开全部
版权信息
出版社：机械工业出版社
出版时间：2020
作者：文艾 等编著
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Spark大数据编程实用教程》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
出版时间：2020
作者：文艾 等编著
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Spark大数据编程实用教程》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
Spark大数据编程实用教程
免费读 (VIP)