本书以任务为导向，较为全面地介绍了Hadoop大数据技术的相关知识。全书共6章，具体内容包括Hadoop介绍、Hadoop集群的搭建及配置、Hadoop基础操作、MapRedu...
电子书
内容简介
Hadoop是一个分布式系统的基础架构，支持对大量数据进行分布式处理，能以高效、可靠的方式完成数据处理。本书围绕Hadoop生态圈技术进行讲解，主要包括Hadoop环境配置、Hadoop分布式文件系统（HDFS）、Hadoop分布式计算框架MapReduce、Hadoop资源调度框架YARN与Hadoop新特性、Hadoop分布式数据库HBase、Oozie工作流调度系统等内容。
本书以Linux操作系统为平台，紧密结合实际应用，贯穿了大量实践案例。另外，本书配以多元的学习资源和平台服务，包括参考教案、案例素材下载、学习交流社区等，为读者提供全方位的学习体验。通过系统地学习本书内容和操作实践，读者可以掌握大数据相关技能。
本书适合作为高等学校计算机专业大数据等相关课程的教材使用，也适合具有一定Linux、Java开发经验且想从事大数据开发工作的人员自学使用，还适合作为大数据分析与运维人员的参考用书。
章节目录
- 第1 章Hadoop 入门
- 任务1 了解大数据现状
- 1.1.1 大数据基本概念和特征
- 1.1.2 大数据带来的机遇和挑战
- 任务2 了解Hadoop 基础
- 1.2.1 Hadoop 概述
- 1.2.2 Hadoop 生态圈
- 1.2.3 Hadoop 应用案例
- 任务3 搭建移动通信业务的Hadoop 处理平台
- 1.3.1 安装虚拟机
- 1.3.2 安装Linux 操作系统
- 1.3.3 搭建移动通信业务的Hadoop 处理平台
- 1.3.4 大数据集群管理平台
- 1.3.5 技能实训
- 本章总结
- 本章作业
- 第2 章Hadoop 分布式文件系统HDFS
- 任务1 了解HDFS
- 2.1.1 认识HDFS
- 2.1.2 HDFS 架构
- 任务2 使用HDFS 处理移动通信数据文件
- 2.2.1 使用HDFS shell 操作完成移动通信数据的管理
- 2.2.2 使用Java API 操作完成移动通信数据的管理
- 2.2.3 技能实训
- 任务3 了解HDFS 运行原理
- 2.3.1 HDFS 读写流程
- 2.3.2 HDFS 副本机制
- 2.3.3 HDFS 负载均衡
- 2.3.4 HDFS 机架感知
- 任务4 实现移动通信数据的行文件方式存储
- 2.4.1 Hadoop 序列化机制
- 2.4.2 文件格式
- 2.4.3 技能实训
- 本章总结
- 本章作业
- 第3 章Hadoop 分布式计算框架MapReduce
- 任务1 使用MapReduce 完成词频统计功能
- 3.1.1 MapReduce 基础
- 3.1.2 MapReduce 编程模型
- 3.1.3 MapReduce 词频统计编程实例
- 3.1.4 技能实训
- 任务2 按号段统计手机号码
- 3.2.1 MapReduce 输入/输出格式
- 3.2.2 Combiner 类
- 3.2.3 Partitioner 类
- 3.2.4 Shuffle 阶段
- 3.2.5 自定义RecordReader
- 3.2.6 技能实训
- 任务3 使用MapReduce 编写应用案例
- 3.3.1 使用MapReduce 实现join 操作
- 3.3.2 使用MapReduce 实现排序功能
- 3.3.3 使用MapReduce 实现二次排序功能
- 3.3.4 技能实训
- 本章总结
- 本章作业
- 第4 章Hadoop YARN
- 任务1 在YARN 集群上运行MapReduce 作业
- 4.1.1 YARN 的产生背景
- 4.1.2 YARN 简介
- 4.1.3 YARN 架构设计
- 4.1.4 技能实训
- 任务2 配置YARN 容错
- 4.2.1 ResourceManager 自动重启
- 4.2.2 ResourceManager 高可用
- 本章总结
- 本章作业
- 第5 章ZooKeeper 简介及安装
- 任务1 了解ZooKeeper
- 5.1.1 ZooKeeper 概念
- 5.1.2 ZooKeeper 的作用及优势
- 5.1.3 ZooKeeper 架构
- 5.1.4 ZooKeeper 的应用案例
- 任务2 搭建ZooKeeper 单机环境
- 5.2.1 ZooKeeper 下载安装
- 5.2.2 ZooKeeper 配置
- 5.2.3 启动ZooKeeper
- 5.2.4 技能实训
- 任务3 实现分布式系统服务器上下线的动态感知
- 5.3.1 ZooKeeper Client 命令行操作
- 5.3.2 Java API 操作ZooKeeper
- 5.3.3 技能实训
- 本章总结
- 本章作业
- 第6 章HBase 基础
- 任务1 了解HBase
- 6.1.1 HBase 是什么
- 6.1.2 HBase 发展历史
- 6.1.3 HBase 使用案例
- 任务2 理解HBase 体系架构
- 6.2.1 架构简介
- 6.2.2 HMaster
- 6.2.3 HRegion
- 6.2.4 HRegionServer
- 6.2.5 ZooKeeper
- 任务3 理解HBase 数据模型
- 6.3.1 数据模型HBase 的数据模型
- 6.3.2 概念视图
- 6.3.3 物理视图
- 任务4 搭建HBase 环境
- 6.4.1 HBase 安装包下载
- 6.4.2 HBase 解压安装
- 6.4.3 HBase 伪分布式环境搭建
- 6.4.4 技能实训
- 本章总结
- 本章作业
- 第7 章HBase 操作
- 任务1 使用HBase Shell 完成《王者荣耀》游戏玩家信息管理操作
- 7.1.1 DDL 操作
- 7.1.2 DML 操作
- 7.1.3 技能实训
- 任务2 使用HBase Java API 完成《王者荣耀》游戏玩家信息管理操作
- 7.2.1 开发环境搭建
- 7.2.2 核心API
- 7.2.3 技能实训
- 任务3 使用HBase Rest API 访问《王者荣耀》游戏玩家信息表
- 7.3.1 启动/停止Rest 服务命令
- 7.3.2 访问方式
- 7.3.3 技能实训
- 本章总结
- 本章作业
- 第8 章HBase 应用
- 任务1 使用表空间管理《王者荣耀》游戏玩家信息表
- 8.1.1 HBase 名字空间简介
- 8.1.2 名字空间操作
- 8.1.3 技能训练
- 任务2 对《王者荣耀》游戏玩家信息表进行权限管理
- 8.2.1 授予权限GRANT
- 8.2.2 查看权限USER_PERMISSION
- 8.2.3 收回权限REVOKE
- 8.2.4 技能实训
- 任务3 理解HRegion 切分
- 8.3.1 HRegion 切分概念
- 8.3.2 切分策略
- 任务4 了解HBase 中的Compaction 过程
- 8.4.1 Compaction 概念
- 8.4.2 Compaction 实现方式
- 8.4.3 Compaction 参数
- 本章总结
- 本章作业
- 第9 章工作流调度框架Oozie
- 任务1 理解Apache Oozie 架构
- 9.1.1 Oozie 简介
- 9.1.2 Oozie 架构
- 任务2 搭建Oozie 环境
- 9.2.1 Oozie 下载安装
- 9.2.2 Oozie 配置
- 9.2.3 Oozie 启动
- 9.2.4 技能实训
- 任务3 实现游戏玩家搜索功能
- 9.3.1 Shell Action
- 9.3.2 Java Action
- 9.3.3 MapReduce Action
- 9.3.4 实现游戏玩家搜索功能
- 9.3.5 技能实训
- 本章总结
- 本章作业
- 第10 章项目实训——《王者荣耀》游戏英雄排行榜
- 10.1 项目需求
- 10.2 项目环境准备
- 10.3 项目覆盖的技能点
- 10.4 难点分析
- 10.5 项目实现思路
- 本章总结
- 本章作业
展开全部
Hadoop应用开发基础是2019年由人民邮电出版社出版,作者刘雯 王文兵。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Hadoop应用开发基础》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
本书以任务为导向，较为全面地介绍了Hadoop大数据技术的相关知识。全书共6章，具体内容包括Hadoop介绍、Hadoop集群的搭建及配置、Hadoop基础操作、MapRedu...
电子书
本书以任务驱动为主线，围绕企业级应用进行项目任务设计，介绍了平台的本地模式安装、伪分布式模式安装及完全分布式模式安装，并基于Hadoop2.X生态系统，全面讲解了Hive环境搭...
电子书
Hadoop大数据平台集群部署与开发课程是云计算的一门专业平台课。本教材可为参与大数据开发与处理等相关流程的技术人员提供有益参考，为其介绍大数据处理技术Hadoop以及Hado...
电子书
本书共分11章，第1章对大数据及Hadoop进行总体介绍；第2章讲解了如何搭建Hadoop集群；第3-5章讲解了HDFS分布式文件系统、MapReduce分布式计算框架以及Zo...
电子书
本书是一本Hadoop学习入门参考书，全书共11章，分为基础篇和提高篇两部分。基础篇包括第1~6章，具体包括Hadoop概述、Hadoop基础环境配置、分布式存储HDFS、计算...
电子书
本书以Hive为开发平台，主要介绍了如何使用HiveQL来查询和分析存储在Hadoop分布式文件系统上的大数据集合，具体内容包括Hive入门、Hive数据库及表操作、Hive元...