电子书
编辑推荐
将Hadoop和Spark组合起来进行剖析，呈现完整的大数据技术方案。
内容简介
本书主要内容包括：第 一章 大数据技术概述、第 二章 Hadoop平台的安装与配置、第三章 Hadoop分布式文件系统、第四章 HDFS API编程、第五章 Hadoop分布式计算框架、第六章 MapReduce API编程、第七章 MapReduce 编程、第八章 Spark概述、第九章 Spark Streaming编程、第十章 Spark SQL编程。
章节目录
- 扉页
- 版权页
- 前言
- 目录
- 第1章 大数据技术概述
- 1.1 大数据技术的发展背景
- 1.1.1 大数据技术的发展过程
- 1.1.2 大数据技术的影响
- 1.1.3 大数据发展的重大事件
- 1.2 大数据的概念、特征及意义
- 1.2.1 什么是大数据
- 1.2.2 大数据的特征
- 1.2.3 大数据来自哪儿
- 1.2.4 大数据的挑战
- 1.2.5 研究大数据的意义
- 1.3 大数据的存储与计算模式
- 1.3.1 大数据的存储模式
- 1.3.2 大数据的计算模式
- 1.4 大数据的典型应用
- 1.4.1 智慧医疗的应用
- 1.4.2 智慧农业的应用
- 1.4.3 金融行业的应用
- 1.4.4 零售行业的应用
- 1.4.5 电子商务行业的应用
- 1.4.6 电子政务的应用
- 1.5 初识Hadoop 大数据平台
- 1.5.1 Hadoop 的发展过程
- 1.5.2 Hadoop 的优势
- 1.5.3 Hadoop 的生态系统
- 1.5.4 Hadoop 的版本
- 1.6 习题
- 第2章 Hadoop 平台的安装与配置
- 2.1 安装准备
- 2.1.1 硬件要求
- 2.1.2 安装Linux
- 2.1.3 安装Java
- 2.2 Hadoop 的集群安装
- 2.2.1 Hadoop 的运行模式
- 2.2.2 Linux 系统设置
- 2.2.3 SSH 的安装
- 2.2.4 Hadoop 的安装
- 2.2.5 Hadoop 的配置
- 2.2.6 Hadoop 的测试
- 2.3 Hadoop 开发平台的安装
- 2.3.1 Eclipse 的安装
- 2.3.2 下载hadoop-eclipse-plugin插件
- 2.3.3 在Eclipse 中配置Hadoop
- 2.4 习题
- 2.5 实训
- 第3章 Hadoop 分布式文件系统
- 3.1 HDFS概述
- 3.1.1 HDFS简介
- 3.1.2 HDFS的基本概念
- 3.1.3 HDFS的特点
- 3.2 HDFS 的体系结构
- 3.2.1 HDFS设计目标
- 3.2.2 HDFS的结构模型
- 3.2.3 HDFS文件的读写
- 3.2.4 HDFS的数据组织机制
- 3.2.5 HDFS的高可用性机制
- 3.3 HDFS Shell操作
- 3.3.1 Shell 命令介绍
- 3.3.2 HDFS Shell 帮助
- 3.3.3 文件操作命令
- 3.3.4 跨文件系统的交互操作命令
- 3.3.5 权限管理操作
- 3.4 习题
- 3.5 实训
- 第4章 HDFS API 编程
- 4.1 HDFS API概述
- 4.1.1 HDFS API简介
- 4.1.2 HDFS Java API的一般用法
- 4.2 HDFS Java API 客户端编程
- 4.2.1 目录与文件的创建
- 4.2.2 文件上传与下载
- 4.2.3 数据流与文件读写操作
- 4.2.4 目录与文件的重命名
- 4.2.5 目录和文件的删除
- 4.2.6 文件系统的状态信息显示
- 4.3 HDFS 应用举例——云盘系统的实现
- 4.3.1 云盘系统分析
- 4.3.2 云盘系统设计
- 4.3.3 云盘系统实现
- 4.4 习题
- 4.5 实训
- 第5章 Hadoop 分布式计算框架
- 5.1 MapReduce概述
- 5.1.1 为什么需要MapReduce
- 5.1.2 MapReduce 的优势
- 5.1.3 MapReduce 的基本概念
- 5.1.4 MapReduce 框架
- 5.1.5 MapReduce 发展
- 5.2 YARN 运行机制
- 5.2.1 YARN组成结构
- 5.2.2 YARN通信协议
- 5.2.3 YARN工作流程
- 5.3 数据的混洗处理
- 5.3.1 map 端
- 5.3.2 reduce端
- 5.4 作业的调度
- 5.4.1 FIFO调度器
- 5.4.2 Capacity调度器
- 5.4.3 Fair调度器
- 5.4.4 调度器的比较
- 5.5 任务的执行
- 5.5.1 推测执行
- 5.5.2 JVM 重用
- 5.5.3 跳过坏记录
- 5.6 失败处理机制
- 5.6.1 任务运行失败
- 5.6.2 ApplicationMaster 运行失败
- 5.6.3 NodeManager运行失败
- 5.6.4 ResourceManager 运行失败
- 5.6.5 日志文件
- 5.7 MapReduce 示例演示——WordCountOrDuration
- 5.8 习题
- 第6章 MapReduce API 编程
- 6.1 MapReduce API 概述
- 6.1.1 MapReduce API简介
- 6.1.2 MapReduce API编程思路
- 6.2 MapReduce 的数据类型
- 6.2.1 序列化
- 6.2.2 Writable 接口
- 6.2.3 Writable类
- 6.3 MapReduce 的输入
- 6.3.1 输入分片
- 6.3.2 文件输入
- 6.3.3 文本输入
- 6.3.4 二进制输入
- 6.3.5 多个输入
- 6.3.6 数据库输入
- 6.4 MapReduce 的输出
- 6.4.1 文本输出
- 6.4.2 二进制输出
- 6.4.3 多个输出
- 6.4.4 延迟输出
- 6.4.5 数据库输出
- 6.5 MapReduce 的任务
- 6.5.1 map 任务
- 6.5.2 combine 任务
- 6.5.3 partition 任务
- 6.5.4 reduce 任务
- 6.5.5 任务的配置与执行
- 6.6 MapReduce 应用举例——倒排索引
- 6.6.1 功能介绍
- 6.6.2 准备数据
- 6.6.3 分析与设计
- 6.6.4 MapReduce 编码实现
- 6.6.5 测试结果
- 6.7 习题
- 6.8 实训
- 第7章 MapReduce 高级编程
- 7.1 自定义数据类型
- 7.2 自定义输入/输出
- 7.2.1 RecordReader与RecordWriter
- 7.2.2 自定义输入
- 7.2.3 自定义输出
- 7.3 自定义Combiner/Partitioner
- 7.3.1 自定义Combiner
- 7.3.2 自定义Partitioner
- 7.4 组合式计算作业
- 7.4.1 迭代式计算
- 7.4.2 依赖关系组合式计算
- 7.4.3 链式计算
- 7.5 MapReduce 的特性
- 7.5.1 计数器
- 7.5.2 连接
- 7.6 MapReduce 应用举例——成绩分析系统的实现
- 7.6.1 成绩分析系统解析
- 7.6.2 成绩分析系统功能设计
- 7.6.3 成绩分析系统实现
- 7.7 习题
- 7.8 实训
- 第8章 Spark 概述
- 8.1 环境搭建
- 8.1.1 Scala 的下载和安装
- 8.1.2 Spark 的下载与安装
- 8.2 Spark 简介
- 8.2.1 Spark 的发展
- 8.2.2 Spark 的特点
- 8.2.3 Spark与Hadoop 的关系
- 8.2.4 Spark 的企业应用
- 8.3 Spark 大数据技术框架
- 8.3.1 Spark 技术体系
- 8.3.2 四大组件概述
- 8.4 Spark 2.0 使用体验
- 8.4.1 Spark 入口
- 8.4.2 第一个Spark程序
- 8.5 Spark 的数据模型
- 8.5.1 RDD 介绍
- 8.5.2 RDD 的处理过程
- 8.5.3 Transformation 算子与使用
- 8.5.4 Action算子与使用
- 8.5.5 RDD 分区
- 8.5.6 RDD 的依赖关系
- 8.5.7 RDD 的容错支持
- 8.6 Spark 任务调度
- 8.6.1 Spark应用程序部署
- 8.6.2 Spark 任务的调度机制
- 8.7 习题
- 8.8 实训
- 第9章 Spark Streaming 编程
- 9.1 Spark Streaming 介绍
- 9.2 Spark Streaming 工作机制
- 9.3 Spark的DStream 流
- 9.3.1 DStream转换
- 9.3.2 Window操作
- 9.3.3 DStream输出
- 9.3.4 持久化与序列化
- 9.3.5 设置检测点
- 9.4 Spark Streaming 案例
- 9.5 集群处理与性能
- 9.6 习题
- 9.7 实训
- 第10章 Spark SQL 编程
- 10.1 Spark SQL概述
- 10.2 DataFrame
- 10.2.1 DataSet与DataFrame
- 10.2.2 反射机制获取RDD内的Schema
- 10.2.3 编程接口指定Schema
- 10.3 数据源
- 10.3.1 一般load/save方法
- 10.3.2 Parquet 数据集
- 10.3.3 JSON 数据集
- 10.3.4 JDBC 数据集
- 10.3.5 DataFrame的案例
- 10.4 Spark Streaming与Spark SQL 综合案例
- 10.5 习题
- 10.6 实训
- 参考文献
展开全部
大数据技术基础——基于Hadoop与Spark是2017年由人民邮电出版社出版,作者李瑶。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《大数据技术基础——基于Hadoop与Spark》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。