内容简介
Hadoop是目前比较流行的大数据框架之一，可使用简单的高级编程模型实现大型数据集的分布式存储和处理。本书以Hadoop的概念、集群搭建、核心组件、实战案例等为主线，较为全面地介绍了Hadoop大数据存储及处理技术的相关知识。全书共10章，前9章主要讲解Hadoop基础，内容包括初识Hadoop、Hadoop的安装与配置、高可用与联邦、分布式文件系统HDFS、集群资源管理系统YARN、分布式计算框架MapRecuer、Hadoop的I/O操作、Hadoop3.x新特性、Hadoop商业发行版等；第10章是Hadoop实战案例，以实际Hadoop框架的运用为导向引入了三个实战案例：文件合并及多目录输出、网页域名分区统计以及电商平台商品评价数据分析案例。
展开全文
- 第1章 初识Hadoop
- 1.1 Hadoop 概述
- 1.1.1 Hadoop 简介
- 1.1.2 Hadoop 的背景
- 1.1.3 Hadoop 的发展历程
- 1.1.4 Hadoop 的特点
- 1.2 Hadoop 核心组件
- 1.2.1 分布式文件系统HDFS
- 1.2.2 分布式计算框架MapReduce
- 1.2.3 集群资源管理系统YARN
- 1.3 Hadoop 生态系统及相关技术
- 1.4 Hadoop 的应用场景
- 本章小结
- 习题
- 第2章 Hadoop的安装与配置
- 2.1 Hadoop 的三种安装方式
- 2.2 伪分布式安装
- 2.2.1 安装前的准备工作
- 2.2.2 安装与配置
- 2.2.3 启动与停止Hadoop
- 2.3 完全分布式安装
- 2.3.1 Hadoop 集群规划
- 2.3.2 安装前的准备工作
- 2.3.3 安装与配置
- 2.3.4 集群启动与监控
- 2.3.5 集群节点的添加与删除
- 本章小结
- 习题
- 第3章 高可用与联邦
- 3.1 高可用概述
- 3.2 HDFS 高可用
- 3.2.1 HDFS 高可用的运行流程
- 3.2.2 HDFS 高可用的环境搭建
- 3.3 YARN 高可用
- 3.4 联邦
- 本章小结
- 习题
- 第4章 分布式文件系统HDFS
- 4.1 HDFS 概述
- 4.1.1 HDFS 简介
- 4.1.2 HDFS 架构
- 4.2 HDFS 的基本概念
- 4.2.1 命名空间与块存储服务
- 4.2.2 数据块
- 4.2.3 数据复制
- 4.2.4 心跳检测与副本恢复
- 4.3 HDFS 的数据读写流程
- 4.3.1 数据写入流程
- 4.3.2 数据读取流程
- 4.4 HDFS 元数据管理机制
- 4.4.1 元数据持久化机制
- 4.4.2 元数据合并机制
- 4.5 HDFS Shell 命令
- 4.5.1 文件系统常用操作命令
- 4.5.2 常用管理命令dfsadmin
- 4.6 搭建开发环境
- 4.6.1 Maven 简介
- 4.6.2 基于Maven+Eclipse 构建Hadoop 开发调试环境
- 4.7 Java API 的应用
- 4.7.1 HDFS 文件系统操作涉及的类
- 4.7.2 RPC 的原理及应用
- 本章小结
- 习题
- 第5章 集群资源管理系统YARN
- 5.1 YARN 的产生背景
- 5.2 YARN 在共享集群模式中的应用
- 5.3 YARN 的设计思想
- 5.3.1 YARN 的基本架构
- 5.3.2 ResourceManager HA
- 5.4 YARN 的工作流程
- 5.5 YARN 的资源调度器
- 5.5.1 调度选项
- 5.5.2 FIFO Scheduler
- 5.5.3 Capacity Scheduler
- 5.5.4 Fair Scheduler
- 本章小结
- 习题
- 第6章 分布式计算框架MapReduce
- 6.1 MapReduce 概述
- 6.2 map 和reduce 的处理过程
- 6.2.1 处理过程概述
- 6.2.2 MapReduce 入门案例
- 6.2.3 shuffle 概述
- 6.2.4 YARN 对MapReduce 的资源调度
- 6.2.5 map 的本地化
- 6.3 MapReduce 进阶
- 6.3.1 Combiner
- 6.3.2 Partitioner
- 6.3.3 MapReduce 输入的处理类
- 6.3.4 MapReduce 输出的处理类
- 6.4 案例
- 6.4.1 数据清洗
- 6.4.2 统计冠军数量并存储
- 6.4.3 使用自定义OutputFormat 来实现多文件存储
- 6.4.4 去除部分历史数据并存储
- 本章小结
- 习题
- 第7章 Hadoop的I/O操作
- 7.1 I/O 操作中的数据完整性检查
- 7.2 I/O 操作中的数据压缩
- 7.2.1 压缩算法
- 7.2.2 压缩和解压缩
- 7.3 Hadoop I/O 序列化接口
- 7.3.1 序列化概述
- 7.3.2 Hadoop 序列化
- 7.4 自定义序列化类
- 7.5 基于文件的数据结构
- 7.5.1 SequenceFile
- 7.5.2 SequenceFileInputFormat
- 本章小结
- 习题
- 第8章 Hadoop 3.x的新特性
- 8.1 Hadoop 3.x 概述
- 8.2 Hadoop 3.x 的改进
- 8.2.1 JDK 升级
- 8.2.2 EC 技术
- 8.2.3 YARN 优化
- 8.2.4 支持多NameNode
- 8.2.5 DataNode 内部负载均衡
- 8.2.6 端口号的改变
- 8.3 Hadoop 3.x 其他的新特性
- 8.3.1 Shell 脚本重写
- 8.3.2 GPU 和FPGA 支持
- 本章小结
- 习题
- 第9章 Hadoop商业发行版
- 9.1 Hadoop 集群管理的挑战
- 9.2 CDH 概述
- 9.3 Cloudera Manager 概述
- 9.3.1 Cloudera Manager 的架构
- 9.3.2 Cloudera Manager 中的基本概念
- 9.4 Cloudera Manager 及CDH 离线安装部署
- 9.4.1 集群部署规划
- 9.4.2 安装前的准备工作
- 9.4.3 前置软件安装
- 9.4.4 Cloudera Manager 安装与配置
- 9.4.5 CDH 部署
- 9.4.6 Cloudera Manager 搭建Hadoop 集群
- 9.4.7 启用HDFS HA 和YARN HA
- 9.5 Cloudera Manager 的功能
- 9.5.1 Cloudera Manager 的基本核心功能
- 9.5.2 Cloudera Manager 的高级功能
- 9.6 Hadoop 其他商业发行版介绍
- 9.6.1 HDP
- 9.6.2 MapR Hadoop
- 9.6.3 华为Hadoop
- 本章小结
- 习题
- 第10章 Hadoop实战案例
- 10.1 项目背景
- 10.2 Apache Avro
- 10.2.1 Apache Avro 概述
- 10.2.2 Schema
- 10.2.3 Avro 序列化与反序列化案例
- 10.3 案例一：Avro 文件合并及多目录输出
- 10.3.1 需求概述
- 10.3.2 数据描述
- 10.3.3 设计思路分析
- 10.3.4 功能实现
- 10.4 案例二：网页域名分区统计
- 10.4.1 需求概述
- 10.4.2 数据描述
- 10.4.3 设计思路分析
- 10.4.4 功能实现
- 10.5 案例三：电商平台商品评价数据分析
- 10.5.1 需求描述
- 10.5.2 数据描述
- 10.5.3 设计思路分析
- 10.5.4 功能实现
- 本章小结
- 习题
展开全部
版权信息
出版社：人民邮电出版社
出版时间：2021
作者：王建
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Hadoop应用开发与案例实战（慕课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
出版时间：2021
作者：王建
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Hadoop应用开发与案例实战（慕课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
Hadoop应用开发与案例实战（慕课版）
免费读 (VIP)