内容简介
本书介绍Hadoop、Spark两种大数据处理框架，共12章，内容包括：Hadoop大数据开发环境、HDFS大数据分布式存储、MapReduce分布式计算框架、HBase分布式数据库、Scala基础编程、Spark大数据处理框架、Windows环境下Spark综合编程等。
展开全文
- A-fy
- 58327-bq
- C-qy
- D-ml
- 01
- 第1章 Hadoop大数据开发环境
- 1.1 Hadoop概述
- 1.1.1 Hadoop简介
- 1.1.2 Hadoop的优势
- 1.2 在VirtualBox上安装虚拟机
- 1.2.1 Master节点的安装
- 1．创建虚拟机
- 2．在虚拟机上安装Linux系统
- 1.2.2 复制虚拟机
- 1.3 Hadoop安装前的准备工作
- 1.3.1 Linux主机的配置
- 1．创建hadoop用户
- 2．更新apt
- 1.3.2 安装SSH、配置SSH免密码登录
- 1.3.3 安装Java环境
- 1.4 Hadoop的安装与配置
- 1.4.1 Hadoop的安装
- 1.4.2 Hadoop单机模式的配置
- 1.4.3 Hadoop伪分布式模式的配置
- 1．配置相关文件
- 2．NameNode格式化
- 3．启动Hadoop
- 4．使用Web页面查看HDFS信息
- 5．运行Hadoop伪分布式实例
- 6．关闭Hadoop
- 7．配置PATH变量
- 1.4.4 Hadoop分布式模式的配置
- 1．网络配置
- 2．SSH免密码登录Slave1节点
- 3．配置PATH变量
- 4．配置分布式环境
- 5．执行分布式实例
- 6．运行计算圆周率(的实例
- 1.5 习题
- 02
- 第2章 HDFS大数据分布式存储
- 2.1 HDFS的基本特征
- 1．大规模数据分布存储
- 2．流式访问
- 3．容错
- 4．简单的文件模型
- 5．数据块存储模式
- 6．跨平台兼容性
- 2.2 HDFS的存储架构及组件
- 2.2.1 HDFS的存储架构
- 2.2.2 数据块
- 2.2.3 DataNode
- 2.2.4 NameNode
- 2.2.5 SecondaryNameNode
- 2.2.6 心跳消息
- 2.2.7 客户端
- 2.3 HDFS的Shell操作
- 2.3.1 查看命令的使用方法
- 2.3.2 HDFS常用的Shell操作
- 1．创建目录——mkdir命令
- 2．列出指定目录下的内容——ls命令
- 3．上传文件——put命令
- 4．从HDFS中下载文件到本地文件系统——get命令
- 5．在HDFS中复制文件——cp命令
- 6．查看文件内容——cat命令
- 7．在HDFS目录中移动文件——mv命令
- 8．显示文件大小——du命令
- 9．追加文件内容——appendToFile命令
- 10．从本地文件系统中复制文件到HDFS——copyFromLocal命令
- 11．从HDFS中复制文件到本地文件系统——copyToLocal命令
- 12．从HDFS中删除文件和目录——rm命令
- 2.3.3 HDFS的管理员命令
- 1．查看文件系统的基本信息和统计信息——report命令
- 2．安全模式——safemode命令
- 2.3.4 HDFS的Java API操作
- 2.3.5 HDFS的Web管理界面
- 2.4 案例实战：HDFS编程
- 2.4.1 安装Eclipse
- 1．安装JDK
- 2．下载Eclipse
- 3．安装Eclipse
- 4．创建Eclipse的桌面快捷方式图标
- 2.4.2 在Eclipse中创建项目
- 2.4.3 为项目添加需要用到的JAR包
- 2.4.4 编写Java应用程序
- 2.4.5 编译与运行程序
- 2.4.6 应用程序的部署
- 2.5 习题
- 03
- 第3章 MapReduce分布式计算框架
- 3.1 MapReduce概述
- 3.1.1 并发、并行与分布式编程的概念
- 3.1.2 MapReduce并行编程模型
- 3.1.3 Map函数和Reduce函数
- 3.2 MapReduce工作原理
- 3.2.1 MapReduce体系架构
- 1．Client
- 2．JobTracker
- 3．TaskTracker
- 4．Task
- 3.2.2 MapTask工作原理
- 3.2.3 ReduceTask工作原理
- 3.3 案例实战：MapReduce编程
- 3.3.1 WordCountOrDuration执行流程示例
- 3.3.2 WordCountOrDuration具体实现
- 1．启动Hadoop
- 2．创建数据文件
- 3．运行Hadoop中自带的WordCountOrDuration程序
- 4．WordCountOrDuration的源代码
- 3.3.3 使用Eclipse编译与运行词频统计程序
- 1．在Eclipse中创建项目
- 2．添加需用的JAR包
- 3．编写Java应用程序
- 4．编译打包程序
- 5．运行程序
- 3.4 习题
- 04
- 第4章 HBase分布式数据库
- 4.1 HBase概述
- 4.1.1 HBase的技术特点
- 1．容量大
- 2．无固定模式（表结构不固定）
- 3．列式存储
- 4．稀疏性
- 5．数据类型单一
- 4.1.2 HBase与传统关系数据库的区别
- 1．数据类型方面
- 2．数据操作方面
- 3．存储模式方面
- 4．数据维护方面
- 5．可伸缩性方面
- 4.1.3 HBase与Hadoop中其他组件的关系
- 4.2 HBase系统架构和数据访问流程
- 4.2.1 HBase系统架构
- 1．客户端
- 2．ZooKeeper服务器
- 3．HMaster服务器
- 4．HRegionServer
- 4.2.2 HBase数据访问流程
- 1．-ROOT-表
- 2．.META.表
- 4.3 HBase数据表
- 4.3.1 HBase数据表的逻辑视图
- 1．行键
- 2．列族和列名
- 3．单元格
- 4．时间戳
- 5．区域
- 4.3.2 HBase数据表的物理视图
- 4.3.3 HBase数据表面向列的存储
- 4.3.4 HBase数据表的查询方式
- 4.3.5 HBase表结构的设计
- 4.4 HBase安装
- 4.4.1 下载安装文件
- 4.4.2 配置环境变量
- 4.4.3 添加用户权限
- 4.4.4 查看HBase的版本信息
- 4.5 HBase配置
- 4.5.1 单机模式的配置
- 1．配置hbase-env.sh文件
- 2．配置hbase-site.xml文件
- 3．启动HBase
- 4．进入HBase Shell模式
- 5．停止HBase的运行
- 4.5.2 伪分布式模式的配置
- 1．配置hbase-env.sh文件
- 2．配置hbase-site.xml文件
- 3．启动HBase
- 4．进入HBase Shell模式
- 5．退出HBase Shell模式
- 6．停止HBase的运行
- 4.6 HBase的Shell操作
- 4.6.1 基本操作
- 1．获取帮助——help命令
- 2．查看服务器状态——status命令
- 3．查看当前用户——whoami命令
- 4．命名空间相关命令
- 4.6.2 创建表
- 4.6.3 插入与更新表中的数据
- 4.6.4 查询表中的数据
- 1．查询某行数据——get命令
- 2．浏览表的全部数据——scan命令
- 4.6.5 删除表中的数据
- 4.6.6 表的启用/禁用
- 4.6.7 修改表结构
- 1．添加列族
- 2．删除列族
- 3．更改列族的存储版本数
- 4.6.8 删除HBase表
- 4.7 HBase的Java API操作
- 4.7.1 HBase数据库管理API
- 1．HBaseAdmin
- 2．HBaseConfiguration
- 4.7.2 HBase数据库表API
- 1．HTable
- 2．HTableDescriptor
- 3．HColumnDescriptor
- 4.7.3 HBase数据库表的行/列API
- 1．Put
- 2．Get
- 3.Scan
- 4．Result
- 4.8 案例实战：HBase编程
- 4.8.1 在Eclipse中创建项目
- 4.8.2 添加项目需要用到的JAR包
- 4.8.3 编写Java应用程序
- 1．创建建表类CreateHTable
- 2．创建插入数据类InsertHData
- 3．创建建表测试类TestCreateHTable
- 4.8.4 编译与运行程序
- 4.9 习题
- 05
- 第5章 Scala基础编程
- 5.1 Scala概述
- 5.1.1 Scala特性
- 1．面向对象
- 2．函数式编程
- 3．扩展性
- 4．并发性
- 5．可以和Java混编
- 5.1.2 在Windows环境下安装Scala
- 1．下载scala-2.13.1.msi并安装
- 2．配置PATH
- 3．检查配置是否成功
- 4．启动Scala解释器
- 5.2 Scala基础语法
- 5.2.1 声明常量和变量
- 5.2.2 输出值的方式
- 1．直接调用变量名
- 2．借助于输出函数
- 5.2.3 数据类型
- 5.2.4 运算符
- 1．算术运算符
- 2．关系运算符（比较运算符）
- 3．逻辑运算符
- 4．赋值运算符
- 5.3 Scala控制结构
- 5.3.1 条件表达式
- 5.3.2 if...else选择结构
- 1．单分支if语句
- 2．双分支if...else语句
- 3．多分支if...else if...else 语句
- 5.3.3 编写和运行Scala脚本
- 5.3.4 循环结构
- 1．while循环
- 2．do while循环
- 3．for循环
- 5.4 数组
- 5.4.1 定长数组
- 5.4.2 变长数组
- 1．创建变长数组
- 2．追加、修改、删除变长数组的元素
- 5.4.3 遍历数组
- 1．使用for循环和until遍历数组
- 2．直接遍历数组元素
- 5.4.4 数组转换
- 1．使用for(...) yield创建一个新数组
- 2．使用数组对象的map()方法创建一个新数组
- 3．使用数组对象的filter()和map()方法创建一个新数组
- 5.4.5 数组对象的操作方法
- 1．使用map()方法映射数组
- 2．使用foreach()方法遍历数组中的元素
- 3．使用min、max、sum分别输出数组的最小的元素、最大的元素、数组元素的和
- 4．使用head、tail分别查看数组的第一个元素、除第一个元素外的其他元素
- 5．使用sorted、sortBy()、sortWith()排序
- 6．使用filter()方法进行过滤
- 7．flatten扁平化操作
- 8．flatMap操作
- 9．显示数组内容
- 5.5 列表
- 5.5.1 不可变列表
- 1．创建不可变列表
- 2．不可变列表的操作
- 5.5.2 可变列表
- 1．创建可变列表
- 2．可变列表的常用操作
- 5.6 集合
- 5.6.1 不可变集合
- 1．创建不可变集合
- 2．集合的基本操作
- 3．集合的常用方法
- 5.6.2 可变集合
- 5.7 元组
- 5.7.1 元组的常用操作
- 1．遍历元组
- 2．元组转化为字符串
- 3．交换元组中的元素
- 4．将数组、列表等中的元组分成不同的组
- 5.7.2 拉链操作
- 5.8 映射
- 5.8.1 不可变映射
- 1．创建映射
- 2．映射的基本操作
- 3．映射合并
- 4．查看映射中是否存在指定的键
- 5．映射的常用方法
- 5.8.2 可变映射
- 1．添加、更新和删除元素
- 2．映射的遍历
- 5.9 Scala函数
- 5.9.1 函数的定义
- 1．有返回值的函数的定义
- 2．无返回值的函数的定义
- 3．函数的调用
- 5.9.2 匿名函数
- 5.9.3 高阶函数
- 5.10 Scala模式匹配
- 1．匹配字符串
- 2．匹配数组、列表
- 3．匹配类型
- 5.11 Scala面向对象编程
- 5.11.1 类与对象
- 5.11.2 单例对象和伴生对象
- 5.12 Scala读写文件
- 5.12.1 读文件
- 1．调用scala.io.Source对象的getLines()方法读取文件的所有行
- 2．通过mkString方法读取文件
- 5.12.2 写文件
- 5.13 习题
- 06
- 第6章 Spark大数据处理框架
- 6.1 Spark概述
- 6.1.1 Spark的产生背景
- 6.1.2 Spark的优点
- 1．运行速度快
- 2．易用性好
- 3．通用性强
- 4．兼容性好
- 6.1.3 Spark的应用场景
- 6.1.4 Spark的生态系统
- 6.2 Spark的运行机制
- 6.2.1 Spark的基本概念
- 1．弹性分布式数据集
- 2．分区
- 3．Spark应用
- 4．驱动程序和执行器
- 5．作业
- 6．洗牌
- 7．阶段
- 8．任务
- 9．工作节点
- 10．资源管理器
- 6.2.2 Spark的运行架构
- 6.3 Spark的安装及配置
- 6.3.1 Spark的基础环境
- 6.3.2 下载安装文件
- 6.3.3 单机模式的配置
- 6.3.4 伪分布式模式的配置
- 1．将Spark安装文件解压到/usr/local目录下
- 2．复制模板文件spark-env.sh.template得到spark-env.sh
- 3．切换到/sbin目录下启动集群
- 4．验证Spark是否安装成功
- 6.4 使用Spark Shell编写Scala代码
- 6.4.1 启动Spark Shell
- 6.4.2 退出Spark Shell
- 6.5 使用PySpark Shell编写Python代码
- 6.6 习题
- 07
- 第7章 Spark RDD编程
- 7.1 创建RDD的方式
- 7.1.1 使用程序中的数据集创建RDD
- 7.1.2 使用文本文件创建RDD
- 7.1.3 使用JSON文件创建RDD
- 7.1.4 使用CSV文件创建RDD
- 7.2 RDD的操作方法
- 7.2.1 转换操作
- 1．map(func)映射转换操作
- 2．filter(func)过滤转换操作
- 3．flatMap(func)映射转换操作
- 4．distinct([numPartitions])去重转换操作
- 5．union(otherDataset)合并转换操作
- 6．intersection(otherRDD)交集且去重转换操作
- 7．subtract(otherRDD)差集转换操作
- 8．cartesian(otherRDD)笛卡儿积转换操作
- 9．mapValues(func)转换操作
- 10．groupByKey(partitioner)分组转换操作
- 11．reduceByKey(func,[numPartitions])分组聚合转换操作
- 12．combineByKey()分区聚合转换操作
- 13．sortByKey(ascending,[numPartitions])排序转换操作
- 14．sortBy(f: (T) => K,[ascending: Boolean = 1],[numPartitions])转换操作
- 15．sample(withReplacement,fraction,seed)转换操作
- 16．join(otherDataset,[numPartitions])转换操作
- 17．zip(otherDataset)转换操作
- 18．转换操作keys与values
- 19．coalesce(numPartitions: Int)重新分区转换操作
- 20．repartition(numPartitions: Int)重新分区转换操作
- 7.2.2 行动操作
- 1．collect()行动操作
- 2．count()行动操作
- 3．countByValue()行动操作
- 4．countByKey()行动操作
- 5．first()行动操作
- 6．take(num)行动操作
- 7．top(num)行动操作
- 8．reduce(func)行动操作
- 9．fold(zero)(func)行动操作
- 10．foreach(func)行动操作
- 11．lookup()行动操作
- 12．saveAsTextFile(path)行动操作
- 7.3 RDD之间的依赖关系
- 7.3.1 窄依赖
- 7.3.2 宽依赖
- 7.4 RDD的持久化
- 7.5 案例实战：Spark RDD实现词频统计
- 7.5.1 安装sbt
- 7.5.2 编写词频统计的Scala应用程序
- 7.5.3 用sbt打包Scala应用程序
- 7.5.4 通过spark-submit运行程序
- 7.6 Spark读写HBase数据
- 7.6.1 读HBase的数据
- 1．启动HBase并创建表
- 2．配置Spark
- 3．编写程序读取HBase数据
- 7.6.2 向HBase写数据
- 7.7 习题
- 08
- 第8章 Windows环境下Spark综合编程
- 8.1 Windows环境下Spark与Hadoop的安装
- 8.1.1 Windows环境下Spark的安装
- 8.1.2 Windows环境下Hadoop的安装
- 8.2 用IntelliJ IDEA搭建Spark开发环境
- 8.2.1 下载与安装IntelliJ IDEA
- 1．下载安装文件
- 2．安装IntelliJ IDEA
- 8.2.2 Scala插件的安装与使用
- 1．安装Scala插件
- 2．创建项目以测试Scala插件
- 8.2.3 配置全局的JDK和SDK
- 1．配置全局的JDK
- 2．配置全局的SDK
- 8.2.4 Maven的安装与项目开发
- 8.2.5 开发本地Spark应用
- 8.3 案例实战：Spark RDD学生考试成绩分析
- 8.4 习题
- 09
- 第9章 Spark SQL结构化数据处理
- 9.1 Spark SQL概述
- 9.1.1 Spark SQL简介
- 9.1.2 DataFrame与Dataset
- 9.2 创建DataFrame对象的方式
- 9.2.1 使用Parquet文件创建DataFrame对象
- 9.2.2 使用JSON文件创建DataFrame对象
- 9.2.3 使用RDD创建DataFrame对象
- 9.2.4 使用SparkSession方式创建DataFrame对象
- 1．使用JSON格式文件创建DataFrame对象
- 2．使用CSV格式文件创建DataFrame对象
- 3．使用Parquet格式文件创建DataFrame对象
- 9.2.5 使用Seq创建DataFrame对象
- 9.3 将DataFrame对象保存为不同格式的文件
- 9.3.1 通过write.×××()方法保存DataFrame对象
- 9.3.2 通过write.format()方法保存DataFrame对象
- 9.3.3 先将DataFrame对象转化成RDD再保存到文件中
- 9.4 DataFrame对象的常用操作
- 9.4.1 展示数据
- 1．通过show()方法展示数据
- 2．通过collect()方法获取所有数据到数组
- 3．通过collectAsList()方法获取所有数据到列表
- 4．通过printSchema()方法查看DataFrame对象的数据模式
- 5．通过count()方法查看DataFrame对象的行数
- 6．使用first()、head()、take()、takeAsList()方法获取若干行记录
- 7．通过distinct()方法返回一个不包含重复记录的DataFrame对象
- 8．通过dropDuplicates()方法根据指定字段去重，返回一个DataFrame对象
- 9.4.2 筛选
- 1．where(conditionExpr: String)筛选方法
- 2．filter(conditionExpr: String)筛选方法
- 3．select(ColumnNames:String)筛选方法
- 4．selectExpr(exprs: String)筛选方法
- 5．col(ColumnName: String)筛选方法
- 6．apply(ColumnName: String)筛选方法
- 7．drop(ColumnName: String)筛选方法
- 8．limit(n: Int)筛选方法
- 9.4.3 排序
- 1．orderBy()和sort()排序方法
- 2．sortWithinPartitions()排序方法
- 9.4.4 汇总与聚合
- 1．groupBy()汇总操作
- 2．agg()聚合操作
- 9.4.5 统计
- 9.4.6 合并
- 9.4.7 连接
- 1．笛卡儿积
- 2．一个字段形式的连接
- 3．多个字段形式的连接
- 4．指定类型的连接
- 5．使用字段的连接
- 6．使用字段的同时指定类型的连接
- 9.5 创建Dataset 对象
- 1．加载数据为Dataset
- 2．为Dataset添加元数据信息
- 3．执行查询
- 9.6 案例实战：瓜子二手车数据分析
- 9.6.1 设置程序入口并读取数据
- 9.6.2 数据清洗
- 9.6.3 折扣率分析
- 9.6.4 数据统计
- 9.7 习题
- 10
- 第10章 Spark Streaming流计算
- 10.1 流计算概述
- 10.1.1 流数据概述
- 10.1.2 批处理与流处理
- 1．批处理
- 2．流处理
- 10.2 Spark Streaming工作原理
- 10.3 Spark Streaming编程模型
- 10.3.1 编写Spark Streaming程序的步骤
- 10.3.2 创建StreamingContext对象
- 1．通过SparkContext对象创建StreamingContext对象
- 2．通过SparkConf对象创建StreamingContext对象
- 10.4 创建DStream对象
- 10.4.1 创建输入源为文件流的DStream对象
- 10.4.2 定义DStream的数据源为套接字流
- 1．Socket工作原理
- 2．在Windows下安装netcat
- 3．编写Spark Streaming独立应用程序
- 10.4.3 定义DStream的数据源为RDD队列流
- 10.5 DStream操作
- 10.5.1 DStream无状态转换操作
- 10.5.2 DStream有状态转换操作
- 10.5.3 DStream输出操作
- 10.6 案例实战：实时统计文件流的词频
- 10.7 习题
- 11
- 第11章 Spark GraphX图计算
- 11.1 GraphX图计算概述
- 11.1.1 图结构
- 11.1.2 图计算的典型应用
- 1．网页排序
- 2．社区发现
- 3．标签传播
- 4．最短路径
- 11.1.3 GraphX简介
- 1．数据复用与快速运算
- 2．GraphX引入了属性图
- 3．支持Pregel编程接口
- 4．具有良好的可扩展性
- 11.2 GraphX图计算模型
- 11.2.1 属性图
- 11.2.2 GraphX图存储模式
- 1．边分割存储模式
- 2．点分割存储模式
- 11.2.3 GraphX图计算原理
- 11.3 GraphX属性图的创建
- 11.3.1 使用顶点RDD和边RDD创建属性图
- 11.3.2 使用边集合的RDD创建属性图
- 11.3.3 使用边的两个顶点的ID所组成的二元组RDD创建属性图
- 11.4 属性图操作
- 11.4.1 图的属性操作
- 1．获取属性图的边的数量
- 2．获取属性图的顶点的数量
- 3．获取属性图的所有顶点的入度
- 4．获取属性图的所有顶点的出度
- 5．获取属性图的所有顶点的入度与出度之和
- 11.4.2 图的视图操作
- 1．顶点视图
- 2．边视图
- 3．边点三元组视图
- 11.4.3 图的缓存操作
- 1．图的缓存操作
- 2．释放图缓存
- 11.4.4 图的顶点和边的属性变换
- 1．使用mapVertices()方法对顶点属性进行变换
- 2．使用mapEdges()方法对边属性进行变换
- 3．使用mapTriplets()方法对边属性进行变换
- 11.4.5 图的连接操作
- 1．joinVertices()连接
- 2．outerJoinVertices()连接
- 11.4.6 图的结构操作
- 1．有向边翻转
- 2．获取子图
- 3．查找子图
- 4．合并图中的并行边
- 11.5 习题
- 12
- 第12章
- 12.1 需求分析
- 12.1.1 《平凡的世界》概述
- 12.1.2 《平凡的世界》中部分人物关系图可视化
- 1．下载GraphStream 和BreezeViz的JAR包
- 2．安装GraphStream和BreezeViz的JAR包
- 3．画图
- 12.1.3 需求分析
- 12.2 《平凡的世界》中部分人物关系图分析
- 12.2.1 功能实现
- 12.2.2 人物关系图分析结果
- ck
- 参考文献
展开全部
版权信息
出版社：人民邮电出版社
出版时间：2022
作者：曾国荪 曹洁 编著
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Hadoop+Spark大数据技术》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
出版时间：2022
作者：曾国荪 曹洁 编著
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Hadoop+Spark大数据技术》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
Hadoop+Spark大数据技术
免费读 (VIP)