《数据恢复实用技术》用8个项目全面讲解了数据恢复的关键技术以及逻辑故障下数据恢复的方法，主要内容包括数据恢复入门、恢复FAT32文件系统数据、恢复NTFS数据、恢复exFAT文...
电子书
内容简介
本书介绍Hadoop、Spark两种大数据处理框架，共12章，内容包括：Hadoop大数据开发环境、HDFS大数据分布式存储、MapReduce分布式计算框架、HBase分布式数据库、Scala基础编程、Spark大数据处理框架、Windows环境下Spark综合编程等。
章节目录
- A-fy
- 58327-bq
- C-qy
- D-ml
- 01
- 第1章 Hadoop大数据开发环境
- 1.1 Hadoop概述
- 1.1.1 Hadoop简介
- 1.1.2 Hadoop的优势
- 1.2 在VirtualBox上安装虚拟机
- 1.2.1 Master节点的安装
- 1．创建虚拟机
- 2．在虚拟机上安装Linux系统
- 1.2.2 复制虚拟机
- 1.3 Hadoop安装前的准备工作
- 1.3.1 Linux主机的配置
- 1．创建hadoop用户
- 2．更新apt
- 1.3.2 安装SSH、配置SSH免密码登录
- 1.3.3 安装Java环境
- 1.4 Hadoop的安装与配置
- 1.4.1 Hadoop的安装
- 1.4.2 Hadoop单机模式的配置
- 1.4.3 Hadoop伪分布式模式的配置
- 1．配置相关文件
- 2．NameNode格式化
- 3．启动Hadoop
- 4．使用Web页面查看HDFS信息
- 5．运行Hadoop伪分布式实例
- 6．关闭Hadoop
- 7．配置PATH变量
- 1.4.4 Hadoop分布式模式的配置
- 1．网络配置
- 2．SSH免密码登录Slave1节点
- 3．配置PATH变量
- 4．配置分布式环境
- 5．执行分布式实例
- 6．运行计算圆周率(的实例
- 1.5 习题
- 02
- 第2章 HDFS大数据分布式存储
- 2.1 HDFS的基本特征
- 1．大规模数据分布存储
- 2．流式访问
- 3．容错
- 4．简单的文件模型
- 5．数据块存储模式
- 6．跨平台兼容性
- 2.2 HDFS的存储架构及组件
- 2.2.1 HDFS的存储架构
- 2.2.2 数据块
- 2.2.3 DataNode
- 2.2.4 NameNode
- 2.2.5 SecondaryNameNode
- 2.2.6 心跳消息
- 2.2.7 客户端
- 2.3 HDFS的Shell操作
- 2.3.1 查看命令的使用方法
- 2.3.2 HDFS常用的Shell操作
- 1．创建目录——mkdir命令
- 2．列出指定目录下的内容——ls命令
- 3．上传文件——put命令
- 4．从HDFS中下载文件到本地文件系统——get命令
- 5．在HDFS中复制文件——cp命令
- 6．查看文件内容——cat命令
- 7．在HDFS目录中移动文件——mv命令
- 8．显示文件大小——du命令
- 9．追加文件内容——appendToFile命令
- 10．从本地文件系统中复制文件到HDFS——copyFromLocal命令
- 11．从HDFS中复制文件到本地文件系统——copyToLocal命令
- 12．从HDFS中删除文件和目录——rm命令
- 2.3.3 HDFS的管理员命令
- 1．查看文件系统的基本信息和统计信息——report命令
- 2．安全模式——safemode命令
- 2.3.4 HDFS的Java API操作
- 2.3.5 HDFS的Web管理界面
- 2.4 案例实战：HDFS编程
- 2.4.1 安装Eclipse
- 1．安装JDK
- 2．下载Eclipse
- 3．安装Eclipse
- 4．创建Eclipse的桌面快捷方式图标
- 2.4.2 在Eclipse中创建项目
- 2.4.3 为项目添加需要用到的JAR包
- 2.4.4 编写Java应用程序
- 2.4.5 编译与运行程序
- 2.4.6 应用程序的部署
- 2.5 习题
- 03
- 第3章 MapReduce分布式计算框架
- 3.1 MapReduce概述
- 3.1.1 并发、并行与分布式编程的概念
- 3.1.2 MapReduce并行编程模型
- 3.1.3 Map函数和Reduce函数
- 3.2 MapReduce工作原理
- 3.2.1 MapReduce体系架构
- 1．Client
- 2．JobTracker
- 3．TaskTracker
- 4．Task
- 3.2.2 MapTask工作原理
- 3.2.3 ReduceTask工作原理
- 3.3 案例实战：MapReduce编程
- 3.3.1 WordCountOrDuration执行流程示例
- 3.3.2 WordCountOrDuration具体实现
- 1．启动Hadoop
- 2．创建数据文件
- 3．运行Hadoop中自带的WordCountOrDuration程序
- 4．WordCountOrDuration的源代码
- 3.3.3 使用Eclipse编译与运行词频统计程序
- 1．在Eclipse中创建项目
- 2．添加需用的JAR包
- 3．编写Java应用程序
- 4．编译打包程序
- 5．运行程序
- 3.4 习题
- 04
- 第4章 HBase分布式数据库
- 4.1 HBase概述
- 4.1.1 HBase的技术特点
- 1．容量大
- 2．无固定模式（表结构不固定）
- 3．列式存储
- 4．稀疏性
- 5．数据类型单一
- 4.1.2 HBase与传统关系数据库的区别
- 1．数据类型方面
- 2．数据操作方面
- 3．存储模式方面
- 4．数据维护方面
- 5．可伸缩性方面
- 4.1.3 HBase与Hadoop中其他组件的关系
- 4.2 HBase系统架构和数据访问流程
- 4.2.1 HBase系统架构
- 1．客户端
- 2．ZooKeeper服务器
- 3．HMaster服务器
- 4．HRegionServer
- 4.2.2 HBase数据访问流程
- 1．-ROOT-表
- 2．.META.表
- 4.3 HBase数据表
- 4.3.1 HBase数据表的逻辑视图
- 1．行键
- 2．列族和列名
- 3．单元格
- 4．时间戳
- 5．区域
- 4.3.2 HBase数据表的物理视图
- 4.3.3 HBase数据表面向列的存储
- 4.3.4 HBase数据表的查询方式
- 4.3.5 HBase表结构的设计
- 4.4 HBase安装
- 4.4.1 下载安装文件
- 4.4.2 配置环境变量
- 4.4.3 添加用户权限
- 4.4.4 查看HBase的版本信息
- 4.5 HBase配置
- 4.5.1 单机模式的配置
- 1．配置hbase-env.sh文件
- 2．配置hbase-site.xml文件
- 3．启动HBase
- 4．进入HBase Shell模式
- 5．停止HBase的运行
- 4.5.2 伪分布式模式的配置
- 1．配置hbase-env.sh文件
- 2．配置hbase-site.xml文件
- 3．启动HBase
- 4．进入HBase Shell模式
- 5．退出HBase Shell模式
- 6．停止HBase的运行
- 4.6 HBase的Shell操作
- 4.6.1 基本操作
- 1．获取帮助——help命令
- 2．查看服务器状态——status命令
- 3．查看当前用户——whoami命令
- 4．命名空间相关命令
- 4.6.2 创建表
- 4.6.3 插入与更新表中的数据
- 4.6.4 查询表中的数据
- 1．查询某行数据——get命令
- 2．浏览表的全部数据——scan命令
- 4.6.5 删除表中的数据
- 4.6.6 表的启用/禁用
- 4.6.7 修改表结构
- 1．添加列族
- 2．删除列族
- 3．更改列族的存储版本数
- 4.6.8 删除HBase表
- 4.7 HBase的Java API操作
- 4.7.1 HBase数据库管理API
- 1．HBaseAdmin
- 2．HBaseConfiguration
- 4.7.2 HBase数据库表API
- 1．HTable
- 2．HTableDescriptor
- 3．HColumnDescriptor
- 4.7.3 HBase数据库表的行/列API
- 1．Put
- 2．Get
- 3.Scan
- 4．Result
- 4.8 案例实战：HBase编程
- 4.8.1 在Eclipse中创建项目
- 4.8.2 添加项目需要用到的JAR包
- 4.8.3 编写Java应用程序
- 1．创建建表类CreateHTable
- 2．创建插入数据类InsertHData
- 3．创建建表测试类TestCreateHTable
- 4.8.4 编译与运行程序
- 4.9 习题
- 05
- 第5章 Scala基础编程
- 5.1 Scala概述
- 5.1.1 Scala特性
- 1．面向对象
- 2．函数式编程
- 3．扩展性
- 4．并发性
- 5．可以和Java混编
- 5.1.2 在Windows环境下安装Scala
- 1．下载scala-2.13.1.msi并安装
- 2．配置PATH
- 3．检查配置是否成功
- 4．启动Scala解释器
- 5.2 Scala基础语法
- 5.2.1 声明常量和变量
- 5.2.2 输出值的方式
- 1．直接调用变量名
- 2．借助于输出函数
- 5.2.3 数据类型
- 5.2.4 运算符
- 1．算术运算符
- 2．关系运算符（比较运算符）
- 3．逻辑运算符
- 4．赋值运算符
- 5.3 Scala控制结构
- 5.3.1 条件表达式
- 5.3.2 if...else选择结构
- 1．单分支if语句
- 2．双分支if...else语句
- 3．多分支if...else if...else 语句
- 5.3.3 编写和运行Scala脚本
- 5.3.4 循环结构
- 1．while循环
- 2．do while循环
- 3．for循环
- 5.4 数组
- 5.4.1 定长数组
- 5.4.2 变长数组
- 1．创建变长数组
- 2．追加、修改、删除变长数组的元素
- 5.4.3 遍历数组
- 1．使用for循环和until遍历数组
- 2．直接遍历数组元素
- 5.4.4 数组转换
- 1．使用for(...) yield创建一个新数组
- 2．使用数组对象的map()方法创建一个新数组
- 3．使用数组对象的filter()和map()方法创建一个新数组
- 5.4.5 数组对象的操作方法
- 1．使用map()方法映射数组
- 2．使用foreach()方法遍历数组中的元素
- 3．使用min、max、sum分别输出数组的最小的元素、最大的元素、数组元素的和
- 4．使用head、tail分别查看数组的第一个元素、除第一个元素外的其他元素
- 5．使用sorted、sortBy()、sortWith()排序
- 6．使用filter()方法进行过滤
- 7．flatten扁平化操作
- 8．flatMap操作
- 9．显示数组内容
- 5.5 列表
- 5.5.1 不可变列表
- 1．创建不可变列表
- 2．不可变列表的操作
- 5.5.2 可变列表
- 1．创建可变列表
- 2．可变列表的常用操作
- 5.6 集合
- 5.6.1 不可变集合
- 1．创建不可变集合
- 2．集合的基本操作
- 3．集合的常用方法
- 5.6.2 可变集合
- 5.7 元组
- 5.7.1 元组的常用操作
- 1．遍历元组
- 2．元组转化为字符串
- 3．交换元组中的元素
- 4．将数组、列表等中的元组分成不同的组
- 5.7.2 拉链操作
- 5.8 映射
- 5.8.1 不可变映射
- 1．创建映射
- 2．映射的基本操作
- 3．映射合并
- 4．查看映射中是否存在指定的键
- 5．映射的常用方法
- 5.8.2 可变映射
- 1．添加、更新和删除元素
- 2．映射的遍历
- 5.9 Scala函数
- 5.9.1 函数的定义
- 1．有返回值的函数的定义
- 2．无返回值的函数的定义
- 3．函数的调用
- 5.9.2 匿名函数
- 5.9.3 高阶函数
- 5.10 Scala模式匹配
- 1．匹配字符串
- 2．匹配数组、列表
- 3．匹配类型
- 5.11 Scala面向对象编程
- 5.11.1 类与对象
- 5.11.2 单例对象和伴生对象
- 5.12 Scala读写文件
- 5.12.1 读文件
- 1．调用scala.io.Source对象的getLines()方法读取文件的所有行
- 2．通过mkString方法读取文件
- 5.12.2 写文件
- 5.13 习题
- 06
- 第6章 Spark大数据处理框架
- 6.1 Spark概述
- 6.1.1 Spark的产生背景
- 6.1.2 Spark的优点
- 1．运行速度快
- 2．易用性好
- 3．通用性强
- 4．兼容性好
- 6.1.3 Spark的应用场景
- 6.1.4 Spark的生态系统
- 6.2 Spark的运行机制
- 6.2.1 Spark的基本概念
- 1．弹性分布式数据集
- 2．分区
- 3．Spark应用
- 4．驱动程序和执行器
- 5．作业
- 6．洗牌
- 7．阶段
- 8．任务
- 9．工作节点
- 10．资源管理器
- 6.2.2 Spark的运行架构
- 6.3 Spark的安装及配置
- 6.3.1 Spark的基础环境
- 6.3.2 下载安装文件
- 6.3.3 单机模式的配置
- 6.3.4 伪分布式模式的配置
- 1．将Spark安装文件解压到/usr/local目录下
- 2．复制模板文件spark-env.sh.template得到spark-env.sh
- 3．切换到/sbin目录下启动集群
- 4．验证Spark是否安装成功
- 6.4 使用Spark Shell编写Scala代码
- 6.4.1 启动Spark Shell
- 6.4.2 退出Spark Shell
- 6.5 使用PySpark Shell编写Python代码
- 6.6 习题
- 07
- 第7章 Spark RDD编程
- 7.1 创建RDD的方式
- 7.1.1 使用程序中的数据集创建RDD
- 7.1.2 使用文本文件创建RDD
- 7.1.3 使用JSON文件创建RDD
- 7.1.4 使用CSV文件创建RDD
- 7.2 RDD的操作方法
- 7.2.1 转换操作
- 1．map(func)映射转换操作
- 2．filter(func)过滤转换操作
- 3．flatMap(func)映射转换操作
- 4．distinct([numPartitions])去重转换操作
- 5．union(otherDataset)合并转换操作
- 6．intersection(otherRDD)交集且去重转换操作
- 7．subtract(otherRDD)差集转换操作
- 8．cartesian(otherRDD)笛卡儿积转换操作
- 9．mapValues(func)转换操作
- 10．groupByKey(partitioner)分组转换操作
- 11．reduceByKey(func,[numPartitions])分组聚合转换操作
- 12．combineByKey()分区聚合转换操作
- 13．sortByKey(ascending,[numPartitions])排序转换操作
- 14．sortBy(f: (T) => K,[ascending: Boolean = 1],[numPartitions])转换操作
- 15．sample(withReplacement,fraction,seed)转换操作
- 16．join(otherDataset,[numPartitions])转换操作
- 17．zip(otherDataset)转换操作
- 18．转换操作keys与values
- 19．coalesce(numPartitions: Int)重新分区转换操作
- 20．repartition(numPartitions: Int)重新分区转换操作
- 7.2.2 行动操作
- 1．collect()行动操作
- 2．count()行动操作
- 3．countByValue()行动操作
- 4．countByKey()行动操作
- 5．first()行动操作
- 6．take(num)行动操作
- 7．top(num)行动操作
- 8．reduce(func)行动操作
- 9．fold(zero)(func)行动操作
- 10．foreach(func)行动操作
- 11．lookup()行动操作
- 12．saveAsTextFile(path)行动操作
- 7.3 RDD之间的依赖关系
- 7.3.1 窄依赖
- 7.3.2 宽依赖
- 7.4 RDD的持久化
- 7.5 案例实战：Spark RDD实现词频统计
- 7.5.1 安装sbt
- 7.5.2 编写词频统计的Scala应用程序
- 7.5.3 用sbt打包Scala应用程序
- 7.5.4 通过spark-submit运行程序
- 7.6 Spark读写HBase数据
- 7.6.1 读HBase的数据
- 1．启动HBase并创建表
- 2．配置Spark
- 3．编写程序读取HBase数据
- 7.6.2 向HBase写数据
- 7.7 习题
- 08
- 第8章 Windows环境下Spark综合编程
- 8.1 Windows环境下Spark与Hadoop的安装
- 8.1.1 Windows环境下Spark的安装
- 8.1.2 Windows环境下Hadoop的安装
- 8.2 用IntelliJ IDEA搭建Spark开发环境
- 8.2.1 下载与安装IntelliJ IDEA
- 1．下载安装文件
- 2．安装IntelliJ IDEA
- 8.2.2 Scala插件的安装与使用
- 1．安装Scala插件
- 2．创建项目以测试Scala插件
- 8.2.3 配置全局的JDK和SDK
- 1．配置全局的JDK
- 2．配置全局的SDK
- 8.2.4 Maven的安装与项目开发
- 8.2.5 开发本地Spark应用
- 8.3 案例实战：Spark RDD学生考试成绩分析
- 8.4 习题
- 09
- 第9章 Spark SQL结构化数据处理
- 9.1 Spark SQL概述
- 9.1.1 Spark SQL简介
- 9.1.2 DataFrame与Dataset
- 9.2 创建DataFrame对象的方式
- 9.2.1 使用Parquet文件创建DataFrame对象
- 9.2.2 使用JSON文件创建DataFrame对象
- 9.2.3 使用RDD创建DataFrame对象
- 9.2.4 使用SparkSession方式创建DataFrame对象
- 1．使用JSON格式文件创建DataFrame对象
- 2．使用CSV格式文件创建DataFrame对象
- 3．使用Parquet格式文件创建DataFrame对象
- 9.2.5 使用Seq创建DataFrame对象
- 9.3 将DataFrame对象保存为不同格式的文件
- 9.3.1 通过write.×××()方法保存DataFrame对象
- 9.3.2 通过write.format()方法保存DataFrame对象
- 9.3.3 先将DataFrame对象转化成RDD再保存到文件中
- 9.4 DataFrame对象的常用操作
- 9.4.1 展示数据
- 1．通过show()方法展示数据
- 2．通过collect()方法获取所有数据到数组
- 3．通过collectAsList()方法获取所有数据到列表
- 4．通过printSchema()方法查看DataFrame对象的数据模式
- 5．通过count()方法查看DataFrame对象的行数
- 6．使用first()、head()、take()、takeAsList()方法获取若干行记录
- 7．通过distinct()方法返回一个不包含重复记录的DataFrame对象
- 8．通过dropDuplicates()方法根据指定字段去重，返回一个DataFrame对象
- 9.4.2 筛选
- 1．where(conditionExpr: String)筛选方法
- 2．filter(conditionExpr: String)筛选方法
- 3．select(ColumnNames:String)筛选方法
- 4．selectExpr(exprs: String)筛选方法
- 5．col(ColumnName: String)筛选方法
- 6．apply(ColumnName: String)筛选方法
- 7．drop(ColumnName: String)筛选方法
- 8．limit(n: Int)筛选方法
- 9.4.3 排序
- 1．orderBy()和sort()排序方法
- 2．sortWithinPartitions()排序方法
- 9.4.4 汇总与聚合
- 1．groupBy()汇总操作
- 2．agg()聚合操作
- 9.4.5 统计
- 9.4.6 合并
- 9.4.7 连接
- 1．笛卡儿积
- 2．一个字段形式的连接
- 3．多个字段形式的连接
- 4．指定类型的连接
- 5．使用字段的连接
- 6．使用字段的同时指定类型的连接
- 9.5 创建Dataset 对象
- 1．加载数据为Dataset
- 2．为Dataset添加元数据信息
- 3．执行查询
- 9.6 案例实战：瓜子二手车数据分析
- 9.6.1 设置程序入口并读取数据
- 9.6.2 数据清洗
- 9.6.3 折扣率分析
- 9.6.4 数据统计
- 9.7 习题
- 10
- 第10章 Spark Streaming流计算
- 10.1 流计算概述
- 10.1.1 流数据概述
- 10.1.2 批处理与流处理
- 1．批处理
- 2．流处理
- 10.2 Spark Streaming工作原理
- 10.3 Spark Streaming编程模型
- 10.3.1 编写Spark Streaming程序的步骤
- 10.3.2 创建StreamingContext对象
- 1．通过SparkContext对象创建StreamingContext对象
- 2．通过SparkConf对象创建StreamingContext对象
- 10.4 创建DStream对象
- 10.4.1 创建输入源为文件流的DStream对象
- 10.4.2 定义DStream的数据源为套接字流
- 1．Socket工作原理
- 2．在Windows下安装netcat
- 3．编写Spark Streaming独立应用程序
- 10.4.3 定义DStream的数据源为RDD队列流
- 10.5 DStream操作
- 10.5.1 DStream无状态转换操作
- 10.5.2 DStream有状态转换操作
- 10.5.3 DStream输出操作
- 10.6 案例实战：实时统计文件流的词频
- 10.7 习题
- 11
- 第11章 Spark GraphX图计算
- 11.1 GraphX图计算概述
- 11.1.1 图结构
- 11.1.2 图计算的典型应用
- 1．网页排序
- 2．社区发现
- 3．标签传播
- 4．最短路径
- 11.1.3 GraphX简介
- 1．数据复用与快速运算
- 2．GraphX引入了属性图
- 3．支持Pregel编程接口
- 4．具有良好的可扩展性
- 11.2 GraphX图计算模型
- 11.2.1 属性图
- 11.2.2 GraphX图存储模式
- 1．边分割存储模式
- 2．点分割存储模式
- 11.2.3 GraphX图计算原理
- 11.3 GraphX属性图的创建
- 11.3.1 使用顶点RDD和边RDD创建属性图
- 11.3.2 使用边集合的RDD创建属性图
- 11.3.3 使用边的两个顶点的ID所组成的二元组RDD创建属性图
- 11.4 属性图操作
- 11.4.1 图的属性操作
- 1．获取属性图的边的数量
- 2．获取属性图的顶点的数量
- 3．获取属性图的所有顶点的入度
- 4．获取属性图的所有顶点的出度
- 5．获取属性图的所有顶点的入度与出度之和
- 11.4.2 图的视图操作
- 1．顶点视图
- 2．边视图
- 3．边点三元组视图
- 11.4.3 图的缓存操作
- 1．图的缓存操作
- 2．释放图缓存
- 11.4.4 图的顶点和边的属性变换
- 1．使用mapVertices()方法对顶点属性进行变换
- 2．使用mapEdges()方法对边属性进行变换
- 3．使用mapTriplets()方法对边属性进行变换
- 11.4.5 图的连接操作
- 1．joinVertices()连接
- 2．outerJoinVertices()连接
- 11.4.6 图的结构操作
- 1．有向边翻转
- 2．获取子图
- 3．查找子图
- 4．合并图中的并行边
- 11.5 习题
- 12
- 第12章
- 12.1 需求分析
- 12.1.1 《平凡的世界》概述
- 12.1.2 《平凡的世界》中部分人物关系图可视化
- 1．下载GraphStream 和BreezeViz的JAR包
- 2．安装GraphStream和BreezeViz的JAR包
- 3．画图
- 12.1.3 需求分析
- 12.2 《平凡的世界》中部分人物关系图分析
- 12.2.1 功能实现
- 12.2.2 人物关系图分析结果
- ck
- 参考文献
展开全部
Hadoop+Spark大数据技术是2022年由人民邮电出版社出版,作者曾国荪 曹洁 编著。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Hadoop+Spark大数据技术》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
本教材一共6个项目，项目1为SOA基础知识导入，主要介绍了SOA的基本概念、发展历程，与企业IT战略之间的关系；项目2介绍了Web服务的相关基础知识，包括Web服务的体系结构特...
电子书
本书共8章，重点介绍与数据库安全相关的理论和技术，主要内容包括数据库安全基础、数据库安全层次、SQL和Web应用基础、SQL注入与防范、数据库访问控制、数据库备份与恢复、数据加...
电子书
本书教学设计遵循教学规律，对真实项目进行了科学拆分与提炼。主要内容分为Hadoop大数据技术基础与Hadoop大数据分析案例两部分，前者包括大数据的有关概念、Hadoop概述、...
电子书
“财务大数据基础”是财经类专业学生学习财务大数据技术应用的入门课程。本书选取薪资管理、量化投资、固定资产管理三个最常见的财务工作场景，详细介绍了这些工作场景中涉及的大数据基础知...
电子书
本书分基础理论、大数据可视化方法、大数据可视化工具及应用3部分，内容包括：数据可视化概述，数据可视化基础，时间数据可视化，比例数据可视化，关系数据可视化，文本数据可视化，复杂数...