Hadoop是一个分布式系统的基础架构，支持对大量数据进行分布式处理，能以高效、可靠的方式完成数据处理。本书围绕Hadoop生态圈技术进行讲解，主要包括Hadoop环境配置、H...
电子书
内容简介
本书以任务为导向，较为全面地介绍了Hadoop大数据技术的相关知识。全书共6章，具体内容包括Hadoop介绍、Hadoop集群的搭建及配置、Hadoop基础操作、MapReduce编程入门、MapReduce进阶编程、项目案例：电影网站用户性别预测。本书的第2～5章包含了实训与课后练习，通过练习和操作实践，帮助读者巩固所学的内容。
本书可以作为高校大数据技术类专业的教材，也可作为大数据技术爱好者的自学用书。
章节目录
- 封面
- 扉页
- 版权信息
- 内容提要
- 大数据专业系列图书编写委员会
- 序
- 前言
- 第1章 Hadoop介绍
- 1.1 Hadoop概述
- 1.1.1 Hadoop简介
- 1.1.2 Hadoop的发展历史
- 1.1.3 Hadoop的特点
- 1.2 Hadoop核心
- 1.2.1 分布式文件系统——HDFS
- 1.2.2 分布式计算框架——MapReduce
- 1.2.3 集群资源管理器——YARN
- 1.3 Hadoop生态系统
- 1.4 Hadoop应用场景
- 小结
- 第2章 Hadoop集群的搭建及配置
- 任务2.1 安装及配置虚拟机
- 2.1.1 创建Linux虚拟机
- 2.1.2 设置固定IP
- 2.1.3 远程连接虚拟机
- 2.1.4 虚拟机在线安装软件
- 2.1.5 任务实现
- 任务2.2 安装Java
- 2.2.1 在Windows下安装Java
- 2.2.2 在Linux下安装Java
- 2.2.3 任务实现
- 任务2.3 搭建Hadoop完全分布式集群
- 2.3.1 修改配置文件
- 2.3.2 克隆虚拟机
- 2.3.3 配置SSH免密码登录
- 2.3.4 配置时间同步服务
- 2.3.5 启动关闭集群
- 2.3.6 监控集群
- 小结
- 实训
- 实训1 为Hadoop集群增加一个节点
- 实训2 编写Shell脚本同步集群时间
- 课后练习
- 第3章 Hadoop基础操作
- 任务3.1 查看Hadoop集群的基本信息
- 3.1.1 查询集群的存储系统信息
- 3.1.2 查询集群的计算资源信息
- 任务3.2 上传文件到HDFS目录
- 3.2.1 了解HDFS文件系统
- 3.2.2 掌握HDFS的基本操作
- 3.2.3 任务实现
- 任务3.3 运行首个MapReduce任务
- 3.3.1 了解Hadoop官方的示例程序包
- 3.3.2 提交MapReduce任务给集群运行
- 任务3.4 管理多个MapReduce任务
- 3.4.1 查询MapReduce任务
- 3.4.2 中断MapReduce任务
- 小结
- 实训
- 实训1 统计文件中所有单词的平均长度
- 实训2 查询与中断MapReduce任务
- 课后练习
- 第4章 MapReduce编程入门
- 任务4.1 使用Eclipse创建MapReduce工程
- 4.1.1 下载与安装Eclipse
- 4.1.2 配置MapReduce环境
- 4.1.3 新建MapReduce工程
- 任务4.2 通过源码初识MapReduce编程
- 4.2.1 通俗理解MapReduce原理
- 4.2.2 了解MR实现词频统计的执行流程
- 4.2.3 读懂官方提供的WordCountOrDuration源码
- 任务4.3 编程实现按日期统计访问次数
- 4.3.1 分析思路与处理逻辑
- 4.3.2 编写核心模块代码
- 4.3.3 任务实现
- 任务4.4 编程实现按访问次数排序
- 4.4.1 分析思路与处理逻辑
- 4.4.2 编写核心模块代码
- 4.4.3 任务实现
- 小结
- 实训
- 实训1 获取成绩表的最高分记录
- 实训2 对两个文件中的数据进行合并与去重
- 课后练习
- 第5章 MapReduce进阶编程
- 任务5.1 筛选日志文件并生成序列化文件
- 5.1.1 MapReduce输入格式
- 5.1.2 MapReduce输出格式
- 5.1.3 任务实现
- 任务5.2 Hadoop Java API读取序列化日志文件
- 5.2.1 FileSystem API管理文件夹
- 5.2.2 FileSystem API操作文件
- 5.2.3 FileSystem API读写数据
- 5.2.4 任务实现
- 任务5.3 优化日志文件统计程序
- 5.3.1 自定义键值类型
- 5.3.2 初步探索Combiner
- 5.3.3 浅析Partitioner
- 5.3.4 自定义计数器
- 5.3.5 任务实现
- 任务5.4 Eclipse提交日志文件统计程序
- 5.4.1 传递参数
- 5.4.2 Hadoop辅助类ToolRunner
- 5.4.3 Eclipse自动打包并提交任务
- 小结
- 实训
- 实训1 统计全球每年的最高气温和最低气温
- 实训2 筛选气温在15～25℃之间的数据
- 课后练习
- 第6章 项目案例：电影网站用户性别预测
- 任务6.1 认识KNN算法
- 6.1.1 KNN算法简介
- 6.1.2 KNN算法原理及流程
- 任务6.2 数据预处理
- 6.2.1 获取数据
- 6.2.2 数据变换
- 6.2.3 数据清洗
- 6.2.4 划分数据集
- 任务6.3 实现用户性别分类
- 6.3.1 实现思路
- 6.3.2 代码实现
- 任务6.4 评价分类结果的准确性
- 6.4.1 评价思路
- 6.4.2 实现分类评价
- 6.4.3 寻找最优K值
- 小结
- 参考文献
展开全部
Hadoop大数据开发基础是2018年由人民邮电出版社出版,作者张良均。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Hadoop大数据开发基础》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
Hadoop是一个分布式系统的基础架构，支持对大量数据进行分布式处理，能以高效、可靠的方式完成数据处理。本书围绕Hadoop生态圈技术进行讲解，主要包括Hadoop环境配置、H...
电子书
Hadoop大数据平台集群部署与开发课程是云计算的一门专业平台课。本教材可为参与大数据开发与处理等相关流程的技术人员提供有益参考，为其介绍大数据处理技术Hadoop以及Hado...
电子书
本书共分11章，第1章对大数据及Hadoop进行总体介绍；第2章讲解了如何搭建Hadoop集群；第3-5章讲解了HDFS分布式文件系统、MapReduce分布式计算框架以及Zo...
电子书
本书以Hive为开发平台，主要介绍了如何使用HiveQL来查询和分析存储在Hadoop分布式文件系统上的大数据集合，具体内容包括Hive入门、Hive数据库及表操作、Hive元...
电子书
本书介绍Hadoop、Spark两种大数据处理框架，共12章，内容包括：Hadoop大数据开发环境、HDFS大数据分布式存储、MapReduce分布式计算框架、HBase分布式...
电子书
本书是一本Hadoop学习入门参考书，全书共11章，分为基础篇和提高篇两部分。基础篇包括第1~6章，具体包括Hadoop概述、Hadoop基础环境配置、分布式存储HDFS、计算...