电子书
编辑推荐
带你了解大数据计算平台Hadoop设计与开发的必备知识。
内容简介
本书主要内容包括：第 1章 初识Hadoop、第 2章 Hadoop基础、第3章 Hadoop开发环境配置与搭建、第4章 Hadoop分布式文件系统（HDFS）、第5章 资源管理器（Yarn）、第6章 MapReduce基础程序设计、第7章 MapReduce程序设计、第8章 分布式数据库HBase、第9章 分布式数据仓库Hive、第 10章 项目测试与发布
章节目录
- 第1章 初识Hadoop
- 1.1 为什么要学习Hadoop
- 1.1.1 信息化项目衍生过程
- 1.1.2 Hadoop 产生过程
- 1.1.3 Hadoop 成功案例介绍
- 1.2 Hadoop 与云计算的关系
- 1.2.1 什么是云计算
- 1.2.2 云计算演进历史
- 1.2.3 云计算相关技术介绍
- 1.2.4 Hadoop 在云项目中扮演的角色
- 1.3 Hadoop 与大数据的关系
- 1.3.1 什么是大数据
- 1.3.2 大数据的存储结构
- 1.3.3 大数据的计算模式
- 1.3.4 Hadoop 在大数据中扮演的角色
- 1.4 学习Hadoop 需要具备的知识基础
- 1.5 学习Hadoop 需要的实验环境
- 1.6 Hadoop 的用途
- 1.7 小结
- 第2章 Hadoop基础知识
- 2.1 Hadoop 简介
- 2.1.1 Apache Hadoop 项目核心模块
- 2.1.2 Apache Hadoop 项目的其他模块
- 2.2 Hadoop 版本演化
- 2.3 RPC 工作原理
- 2.3.1 RPC 简介
- 2.3.2 Hadoop 中的RPC
- 2.3.3 RPCoIB 和JVM—旁路缓冲管理方案：在高性能网络InfiniBand 上数据交换的改进
- 2.4 MapReduce 工作原理
- 2.4.1 MapReduce 计算模型
- 2.4.2 MapReduce 经典案例
- 2.4.3 MapReduce 应用场景
- 2.5 Hadoop 改进
- 2.5.1 LATE 算法：良好的适应异构性环境
- 2.5.2 Mantri：MapReduce 异常处理
- 2.5.3 SkewTune：MapReduce 中数据偏斜处理
- 2.5.4 基于RDMA 的MapReduce 设计：提升大数据应用的性能和规模
- 2.6 HDFS 工作原理
- 2.6.1 HDFS 介绍
- 2.6.2 HDFS 体系结构
- 2.6.3 文件系统的命名空间
- 2.6.4 HDFS 中Block 副本放置策略
- 2.6.5 HDFS 机架感知
- 2.6.6 HDFS 安全模式
- 2.6.7 HDFS 应用场景介绍
- 2.6.8 混合HDFS 的设计：充分利用硬件能力获得最佳性能
- 2.7 YARN 工作原理
- 2.7.1 YARN on HDFS 的工作原理
- 2.7.2 MapReduce on YARN 的工作原理
- 2.8 容错机制
- 2.9 安全性
- 2.10 小结
- 第3章 Hadoop开发环境配置与搭建
- 3.1 集群部署
- 3.1.1 安装包版本的选择
- 3.1.2 Hadoop 安装先决条件
- 3.1.3 Hadoop 安装模式
- 3.2 本地/独立模式搭建
- 3.2.1 JDK 安装与配置
- 3.2.2 SSH 无密码登录
- 3.2.3 Hadoop 本地环境参数配置
- 3.2.4 Hadoop 本地模式验证
- 3.3 伪分布模式搭建
- 3.3.1 配置过程
- 3.3.2 格式化HDFS
- 3.3.3 Hadoop 进程启停与验证
- 3.4 全分布模式搭建
- 3.4.1 Hadoop 网络配置
- 3.4.2 Hadoop 集群SSH 配置
- 3.4.3 时间同步
- 3.4.4 IP 与机器名映射
- 3.4.5 Hadoop 环境配置
- 3.4.6 Hadoop 集群启停与验证
- 3.5 基于Hadoop 平台的Eclipse 开发环境的搭建
- 3.5.1 Hadoop Eclipse 插件配置
- 3.5.2 编写第一个MapReduce 程序
- 3.5.3 编译打包及运行程序
- 3.6 小结
- 第4章 Hadoop分布式文件系统
- 4.1 HDFS 工作原理
- 4.1.1 HDFS 读数据的过程
- 4.1.2 HDFS 写数据的过程
- 4.1.3 HDFS 删除与恢复数据的过程
- 4.2 HDFS 常用命令行操作概述
- 4.2.1 HDFS 命令行
- 4.2.2 HDFS 常用命令行操作
- 4.3 通过Web 浏览HDFS 文件
- 4.4 HDFS API
- 4.4.1 使用FileSystem API 读取数据命令行
- 4.4.2 使用FileSystem API 写入数据命令行
- 4.4.3 FileUtil 文件处理
- 4.5 小结
- 第5章 Hadoop的I/O操作
- 5.1 压缩
- 5.1.1 Hadoop 压缩类型
- 5.1.2 CompressionCodec 接口
- 5.1.3 CompressionCodecFactory 类
- 5.1.4 压缩池
- 5.1.5 Hadoop 中使用压缩
- 5.2 I/O 序列化类型
- 5.2.1 Writable 接口
- 5.2.2 Java 基本类型的Writable 封装器
- 5.2.3 IntWritable 与VIntWritable 类
- 5.2.4 Text 类
- 5.2.5 BytesWritable 类
- 5.2.6 NullWritable 类
- 5.2.7 ObjectWritable 类
- 5.2.8 自定义Writable 接口
- 5.3 基于文件的数据结构
- 5.3.1 SequenceFile
- 5.3.2 MapFile
- 5.4 小结
- 第6章 MapReduce编程基础
- 6.1 剖析MapReduce 编程过程
- 6.2 由WordCountOrDuration 理解MapReduce 编程过程
- 6.2.1 准备工作
- 6.2.2 Mapper 工作过程
- 6.2.3 Reducer 工作过程
- 6.2.4 Job 工作过程
- 6.3 MapReduce 类型
- 6.4 Mapper 输入
- 6.4.1 默认输入格式
- 6.4.2 FileInput 输入
- 6.4.3 多路径输入
- 6.4.4 自定义输入分片
- 6.5 Shuffle
- 6.5.1 Shuffle 运行原理
- 6.5.2 分区
- 6.5.3 排序
- 6.6 Combiner
- 6.6.1 由WordCountOrDuration 案例讲解Combiner
- 6.6.2 由SVG 案例进一步讲解Combiner
- 6.7 OutputFormat 输出
- 6.8 编程模型的扩展——FlumeJava：云计算高级编程模型
- 6.8.1 FlumeJava 结构
- 6.8.2 FlumeJava 优化
- 6.9 小结
- 第7章 MapReduce高级编程
- 7.1 计数器
- 7.1.1 内置计数器
- 7.1.2 自定义计数器
- 7.1.3 计数器结果查看
- 7.2 最值
- 7.2.1 单一最值
- 7.2.2 Top N
- 7.3 全排序
- 7.3.1 全排序业务需求
- 7.3.2 实验数据准备
- 7.3.3 自定义分区实现全排序过程
- 7.3.4 通过抽样实现全排序过程
- 7.4 二次排序
- 7.4.1 解决方案
- 7.4.2 例子
- 7.5 连接
- 7.5.1 Reduce 端连接
- 7.5.2 Map 端连接
- 7.6 小结
- 第8章 初识HBase
- 8.1 HBase 基础知识
- 8.1.1 HBase 特征
- 8.1.2 HBase 数据模型
- 8.1.3 HBase 体系结构
- 8.2 HBase 开发环境配置与安装
- 8.2.1 HBase 环境配置基本准备条件
- 8.2.2 HBase 配置文件
- 8.2.3 HBase 独立安装
- 8.2.4 HBase 伪分布式安装
- 8.2.5 HBase 完全分布式安装
- 8.2.6 HBase 启动、停止、监控
- 8.3 HBase 基本Shell 操作
- 8.3.1 HBase Shell 启动
- 8.3.2 HBase Shell 通用命令
- 8.3.3 HBase Shell 表管理命令
- 8.3.4 HBase Shell 表操作命令
- 8.3.5 HBase Shell 应用举例
- 8.4 基于HBase API 程序设计
- 8.4.1 管理表结构
- 8.4.2 管理表信息
- 8.4.3 Scan
- 8.4.4 过滤器
- 8.4.5 协处理器
- 8.4.6 计数器
- 8.4.7 MapReduce 与HBase 互操作
- 8.5 RowKey 设计
- 8.5.1 HBase 值的存储与读取的特点
- 8.5.2 HBase 值存储特点引发的问题
- 8.5.3 RowKey 设计遵循的原则
- 8.6 HBase 的高性能设计：使用InfiniBand 的RDMA
- 8.6.1 设计
- 8.6.2 优势
- 8.7 小结
- 第9章 初识Hive
- 9.1 Hive 基础知识
- 9.1.1 Hive 的存储结构
- 9.1.2 Hive 与传统数据库的比较
- 9.2 Hive 环境安装
- 9.2.1 Hive 内嵌模式安装
- 9.2.2 Hive 独立模式安装
- 9.2.3 Hive 远程模式安装
- 9.2.4 初识Hive Shell
- 9.2.5 Java 通过JDBC 对Hive 操作
- 9.3 HiveQL 基本语法
- 9.3.1 Hive 中的数据库
- 9.3.2 创建表的基本语法
- 9.3.3 表中数据的加载
- 9.3.4 HiveQL 的数据类型
- 9.3.5 数据类型转换
- 9.3.6 文本文件数据编码
- 9.3.7 分区和桶
- 9.3.8 表维护
- 9.4 HiveQL 基本查询
- 9.4.1 SELECT…FROM 语句
- 9.4.2 WHERE 语句
- 9.4.3 嵌套SELECT 语句
- 9.4.4 Hive 函数
- 9.4.5 GROUP BY 语句
- 9.4.6 JOIN 语句
- 9.4.7 UNION ALL 语句
- 9.4.8 ORDER BY 和SORT BY 语句
- 9.4.9 含有SORT BY 的DISTRIBUTE BY 语句
- 9.4.10 CLUSTER BY 语句
- 9.5 视图和索引
- 9.5.1 视图
- 9.5.2 索引
- 9.6 Hive 与HBase 集成
- 9.7 小结
- 附录 《Hadoop 集群程序设计与开发》配套实验课程方案简介
展开全部
Hadoop集群程序设计与开发是2018年由人民邮电出版社出版,作者王宏志。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Hadoop集群程序设计与开发》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。