编辑推荐
将Hadoop和Spark组合起来进行剖析,呈现完整的大数据技术方案。
内容简介
本书主要内容包括:第 一章 大数据技术概述、第 二章 Hadoop平台的安装与配置、第三章 Hadoop分布式文件系统、第四章 HDFS API编程、第五章 Hadoop分布式计算框架、第六章 MapReduce API编程、第七章 MapReduce 编程、第八章 Spark概述、第九章 Spark Streaming编程、第十章 Spark SQL编程。
章节目录
版权信息
内容提要
前言
第1章 大数据技术概述
1.1 大数据技术的发展背景
1.2 大数据的概念、特征及意义
1.3 大数据的存储与计算模式
1.4 大数据的典型应用
1.5 初识Hadoop大数据平台
1.6 习题
第2章 Hadoop平台的安装与配置
2.1 安装准备
2.2 Hadoop的集群安装
2.3 Hadoop开发平台的安装
2.4 习题
2.5 实训
第3章 Hadoop分布式文件系统
3.1 HDFS概述
3.2 HDFS的体系结构
3.3 HDFS Shell操作
3.4 习题
3.5 实训
第4章 HDFS API编程
4.1 HDFS API概述
4.2 HDFS Java API客户端编程
4.3 HDFS应用举例——云盘系统的实现
4.4 习题
4.5 实训
第5章 Hadoop分布式计算框架
5.1 MapReduce概述
5.2 YARN运行机制
5.3 数据的混洗处理
5.4 作业的调度
5.5 任务的执行
5.6 失败处理机制
5.7 MapReduce示例演示——WordCount
5.8 习题
第6章 MapReduce API编程
6.1 MapReduce API概述
6.2 MapReduce的数据类型
6.3 MapReduce的输入
6.4 MapReduce的输出
6.5 MapReduce的任务
6.6 MapReduce应用举例——倒排索引
6.7 习题
6.8 实训
第7章 MapReduce 高级编程
7.1 自定义数据类型
7.2 自定义输入/输出
7.3 自定义Combiner/Partitioner
7.4 组合式计算作业
7.5 MapReduce的特性
7.6 MapReduce应用举例——成绩分析系统的实现
7.7 习题
7.8 实训
第8章 Spark概述
8.1 环境搭建
8.2 Spark简介
8.3 Spark大数据技术框架
8.4 Spark 2.0 使用体验
8.5 Spark的数据模型
8.6 Spark任务调度
8.7 习题
8.8 实训
第9章 Spark Streaming编程
9.1 Spark Streaming介绍
9.2 Spark Streaming工作机制
9.3 Spark的DStream流
9.4 Spark Streaming案例
9.5 集群处理与性能
9.6 习题
9.7 实训
第10章 Spark SQL编程
10.1 Spark SQL概述
10.2 DataFrame
10.3 数据源
10.4 Spark Streaming与Spark SQL综合案例
10.5 习题
10.6 实训
参考文献
大数据技术基础——基于Hadoop与Spark是2017年由人民邮电出版社出版,作者李瑶。
得书感谢您对《大数据技术基础——基于Hadoop与Spark》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。