国内高校大数据课程知名教师倾心之作，带你“零基础”学习大数据。
电子书
编辑推荐
本书是厦门大学作者团队长期经验总结的结晶，是在厦门大学《大数据技术原理与应用》入门级大数据教材的基础之上编写的。为了确保教程质量，在编著出版纸质教材之前，实验室已经于2016年10月通过实验室官网免费发布共享了简化版的Spark在线教程和相关教学资源，同时，该在线教程也已经用于厦门大学计算机科学系研究生的大数据课程教学，并成为全国高校大数据课程教师培训交流班的授课内容。实验室根据读者对在线Spark教程的大量反馈意见以及教学实践中发现的问题，对Spark在线教程进行了多次修正和完善，所有这些前期准备工作，都为纸质教材的编著出版打下了坚实的基础。
披荆斩棘，在大数据丛林中开辟学习捷径
填沟削坎，为快速学习Spark 技术铺平道路
深入浅出，有效降低Spark 技术学习门槛
资源全面，构建全方位一站式在线服务体系
内容简介
本书以Scala作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等。
章节目录
- 封面
- 扉页
- 版权信息
- 内容提要
- 前言
- 第1章 大数据技术概述
- 1.1 大数据的概念与关键技术
- 1.1.1 大数据的概念
- 1.1.2 大数据关键技术
- 1.2 代表性大数据技术
- 1.2.1 Hadoop
- 1.2.2 Spark
- 1.2.3 Flink
- 1.2.4 Beam
- 1.3 编程语言的选择
- 1.4 在线资源
- 1.5 本章小结
- 1.6 习题
- 实验1 Linux系统的安装和常用命令
- 一、实验目的
- 二、实验平台
- 三、实验内容和要求
- 四、实验报告
- 第2章 Scala语言基础
- 2.1 Scala语言概述
- 2.1.1 计算机的缘起
- 2.1.2 编程范式
- 2.1.3 Scala简介
- 2.1.4 Scala的安装
- 2.1.5 HelloWorld
- 2.2 Scala基础知识
- 2.2.1 基本数据类型和变量
- 2.2.2 输入/输出
- 2.2.3 控制结构
- 2.2.4 数据结构
- 2.3 面向对象编程基础
- 2.3.1 类
- 2.3.2 对象
- 2.3.3 继承
- 2.3.4 参数化类型
- 2.3.5 特质
- 2.3.6 模式匹配
- 2.3.7 包
- 2.4 函数式编程基础
- 2.4.1 函数的定义与使用
- 2.4.2 高阶函数
- 2.4.3 闭包
- 2.4.4 偏应用函数和Curry化
- 2.4.5 针对容器的操作
- 2.4.6 函数式编程实例
- 2.5 本章小结
- 2.6 习题
- 实验2 Scala编程初级实践
- 一、实验目的
- 二、实验平台
- 三、实验内容和要求
- 四、实验报告
- 第3章 Spark的设计与运行原理
- 3.1 概述
- 3.2 Spark生态系统
- 3.3 Spark运行架构
- 3.3.1 基本概念
- 3.3.2 架构设计
- 3.3.3 Spark运行基本流程
- 3.3.4 RDD的设计与运行原理
- 3.4 Spark的部署方式
- 3.5 本章小结
- 3.6 习题
- 第4章 Spark环境搭建和使用方法
- 4.1 安装Spark
- 4.1.1 基础环境
- 4.1.2 下载安装文件
- 4.1.3 配置相关文件
- 4.1.4 Spark和Hadoop的交互
- 4.2 在spark-shell中运行代码
- 4.2.1 spark-shell命令
- 4.2.2 启动spark-shell
- 4.3 开发Spark独立应用程序
- 4.3.1 安装编译打包工具
- 4.3.2 编写Spark应用程序代码
- 4.3.3 编译打包
- 4.3.4 通过spark-submit运行程序
- 4.4 Spark集群环境搭建
- 4.4.1 集群概况
- 4.4.2 搭建Hadoop集群
- 4.4.3 在集群中安装Spark
- 4.4.4 配置环境变量
- 4.4.5 Spark的配置
- 4.4.6 启动Spark集群
- 4.4.7 关闭Spark集群
- 4.5 在集群上运行Spark应用程序
- 4.5.1 启动Spark集群
- 4.5.2 采用独立集群管理器
- 4.5.3 采用Hadoop YARN管理器
- 4.6 本章小结
- 4.7 习题
- 实验3 Spark和Hadoop的安装
- 一、实验目的
- 二、实验平台
- 三、实验内容和要求
- 四、实验报告
- 第5章 RDD编程
- 5.1 RDD编程基础
- 5.1.1 RDD创建
- 5.1.2 RDD操作
- 5.1.3 持久化
- 5.1.4 分区
- 5.1.5 一个综合实例
- 5.2 键值对RDD
- 5.2.1 键值对RDD的创建
- 5.2.2 常用的键值对转换操作
- 5.2.3 一个综合实例
- 5.3 数据读写
- 5.3.1 文件数据读写
- 5.3.2 读写HBase数据
- 5.4 综合实例
- 5.4.1 求TOP值
- 5.4.2 文件排序
- 5.4.3 二次排序
- 5.5 本章小结
- 实验4 RDD编程初级实践
- 一、实验目的
- 二、实验平台
- 三、实验内容和要求
- 四、实验报告
- 第6章 Spark SQL
- 6.1 Spark SQL简介
- 6.1.1 从Shark说起
- 6.1.2 Spark SQL架构
- 6.1.3 为什么推出Spark SQL
- 6.2 DataFrame概述
- 6.3 DataFrame的创建
- 6.4 DataFrame的保存
- 6.5 DataFrame的常用操作
- 6.6 从RDD转换得到DataFrame
- 6.6.1 利用反射机制推断RDD模式
- 6.6.2 使用编程方式定义RDD模式
- 6.7 使用Spark SQL读写数据库
- 6.7.1 通过JDBC连接数据库
- 6.7.2 连接Hive读写数据
- 6.8 本章小结
- 6.9 习题
- 实验5 Spark SQL编程初级实践
- 一、实验目的
- 二、实验平台
- 三、实验内容和要求
- 四、实验报告
- 第7章 Spark Streaming
- 7.1 流计算概述
- 7.1.1 静态数据和流数据
- 7.1.2 批量计算和实时计算
- 7.1.3 流计算概念
- 7.1.4 流计算框架
- 7.1.5 流计算处理流程
- 7.2 Spark Streaming
- 7.2.1 Spark Streaming设计
- 7.2.2 Spark Streaming与Storm的对比
- 7.2.3 从“Hadoop+Storm”架构转向Spark架构
- 7.3 DStream操作概述
- 7.3.1 Spark Streaming工作机制
- 7.3.2 编写Spark Streaming程序的基本步骤
- 7.3.3 创建StreamingContext对象
- 7.4 基本输入源
- 7.4.1 文件流
- 7.4.2 套接字流
- 7.4.3 RDD队列流
- 7.5 高级数据源
- 7.5.1 Kafka简介
- 7.5.2 Kafka准备工作
- 7.5.3 Spark准备工作
- 7.5.4 编写Spark Streaming程序使用Kafka数据源
- 7.6 转换操作
- 7.6.1 DStream无状态转换操作
- 7.6.2 DStream有状态转换操作
- 7.7 输出操作
- 7.7.1 把DStream输出到文本文件中
- 7.7.2 把DStream写入到关系数据库中
- 7.8 本章小结
- 7.9 习题
- 实验6 Spark Streaming编程初级实践
- 一、实验目的
- 二、实验平台
- 三、实验内容和要求
- 四、实验报告
- 第8章 Spark MLlib
- 8.1 基于大数据的机器学习
- 8.2 机器学习库MLlib概述
- 8.3 基本数据类型
- 8.3.1 本地向量
- 8.3.2 标注点
- 8.3.3 本地矩阵
- 8.4 机器学习流水线
- 8.4.1 流水线的概念
- 8.4.2 流水线工作过程
- 8.5 特征提取、转换和选择
- 8.5.1 特征提取
- 8.5.2 特征转换
- 8.5.3 特征选择
- 8.5.4 局部敏感哈希
- 8.6 分类算法
- 8.6.1 逻辑斯蒂回归分类器
- 8.6.2 决策树分类器
- 8.7 聚类算法
- 8.7.1 K-Means聚类算法
- 8.7.2 GMM聚类算法
- 8.8 协同过滤算法
- 8.8.1 推荐算法的原理
- 8.8.2 ALS算法
- 8.9 模型选择和超参数调整
- 8.9.1 模型选择工具
- 8.9.2 用交叉验证选择模型
- 8.10 本章小结
- 8.11 习题
- 实验7 Spark机器学习库MLlib编程实践
- 一、实验目的
- 二、实验平台
- 三、实验内容和要求
- 四、实验报告
- 参考文献
展开全部
Spark编程基础（Scala版）是2018年由人民邮电出版社出版,作者林子雨。
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Spark编程基础（Scala版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
在数字经济时代，数据是重要的资源要素；同时，新的数据又在源源不断地产生，企业面临的一个基本问题就是如何管理和利用这些数据，这对传统的数据处理方法与分析框架提出了新的诉求和挑战，也是全球业界与学界为关心的问题。为了满足大数据时代对信息的快速处理的需求，一个分布式的开源计算框架Apache Spark应运而生。经过十年的发展，Spark已经成为目前大数据处理的标杆，在整个业界得到了广泛的使用。对大数据工程师来说，用Spark构建数据管道无疑是很好的选择，而对数据科学家来说，Spark也是高效的数据探索工具。
本书基于Spark发行版2.4.4写作而成，包含大量的实例与一个完整项目，技术理论与实战相结合，层次分明，循序渐进。本书不仅介绍了如何开发Spark应用的基础内容，包括Spark架构、Spark编程、SparkSQL、Spark调优等，还探讨了Structured Streaming、Spark机器学习、Spark图挖掘、Spark深度学习、Alluxio系统等高级主题，同时完整实现了一个企业背景调查系统，借鉴了数据湖与Lambda架构的思想，涵盖了批处理、流处理应用开发，并加入了一些开源组件来满足业务需求。学习该系统可以使读者从实战中巩固所学，并将技术理论与应用实战融会贯通。
本书适合准备学习Spark的开发人员和数据分析师，以及准备将Spark应用到实际项目中的开发人员和管理人员阅读，也适合计算机相关专业的高年级本科生和研究生学习和参考，对于具有一定的Spark使用经验并想进一步提升的数据科学从业者也是很好的参考资料。
电子书
将Hadoop和Spark组合起来进行剖析，呈现完整的大数据技术方案。
电子书
Hadoop基础教程，大数据技术原理与应用教程，MapReduce框架入门实战指南。
电子书
深入浅出展现Flink技术精髓，力求详细而完整地描述Flink大数据项目实战，从零开始快速掌握Flink的基本原理和核心功能。
电子书
腾讯专家首次分享Spark最新实践，基于真实数据，用案例分析全面解读大数据应用设计！
电子书
基于全新的Hadoop 3.x，主要分析Hadoop 3.2.0的新特性和新功能，以企业级真实案例详细解读，带你全方位掌握大数据处理分析、分布式计算等。
电子书
大数据时代快速上手HBase行动指南。
