电子书
内容简介
本书共有12章，从Hadoop概述开始，介绍了Hadoop的安装和配置管理，并对Hadoop的生态体系架构进行了介绍，包括HDFS技术、YARN技术、MapReduce技术、海量数据库技术HBase、ZooKeeper技术等，最后对大数据实时处理技术作了简单介绍，旨在让读者了解当前其它的大数据处理技术。
章节目录
- A-fy
- 54568-bq
- C-qy
- D-ml
- 目录 CONTENTS
- 01
- 第1章
- Hadoop概述
- 1.1 Hadoop简介
- 1.2 Hadoop体系架构
- 1.3 Hadoop与分布式开发
- 1.4 Hadoop行业应用案例分析
- 1.4.1 Hadoop在门户网站的应用
- 1.4.2 Hadoop在搜索引擎中的应用
- 1.4.3 Hadoop在电商平台中的应用
- 习题
- 02
- 第2章
- Hadoop的安装与配置管理
- 2.1 实验准备
- 2.2 配置一个单节点环境
- 2.2.1 运行一个虚拟环境CentOS
- 2.2.2 配置网络
- 1．bridged模式
- 2．NAT模式
- 3．host-only模式
- 2.2.3 创建新的用户组和用户
- 1．创建Hadoop Group组
- 2．添加Hadoop用户
- 2.2.4 上传文件到CentOS并配置Java和Hadoop环境
- 1．使用WinSCP传输文件
- 2．解压文件
- 3．目录规划
- 4．导入JDK环境变量
- 5．导入Hadoop环境变量
- 2.2.5 修改Hadoop 2.7配置文件
- 2.2.6 修改CentOS主机名
- 2.2.7 绑定hostname与IP
- 2.2.8 关闭防火墙
- 2.3 节点之间的免密码通信
- 2.3.1 什么是SSH
- 2.3.2 复制虚拟机节点
- 2.3.3 配置SSH免密码登录
- 2.4 Hadoop的启动和测试
- 2.4.1 格式化文件系统
- 2.4.2 启动HDFS
- 2.4.3 启动YARN
- 2.4.4 启动JobHistory Server
- 2.4.5 集群验证
- 2.4.6 需要了解的默认配置
- 2.5 动态管理节点
- 2.5.1 动态增加和删除DataNode
- 1．修改配置文件
- 2．添加一个节点
- 3．删除一个节点
- 4．重新加入各个删除的节点
- 2.5.2 动态修改TaskTracker
- 1．修改配置文件
- 2．添加
- 3．删除
- 4．重新加入各个删除的节点
- 习题
- 03
- 第3章
- HDFS技术
- 3.1 HDFS的特点
- 3.2 HDFS架构
- 3.2.1 数据块
- 3.2.2 NameNode与DataNode
- 3.2.3 辅助NameNode
- 3.2.4 安全模式
- 3.2.5 负载均衡
- 3.2.6 垃圾回收
- 3.3 HDFS Shell命令
- 3.3.1 文件处理命令
- 1．hdfs dfs –ls：列出根目录文件和目录
- 2．mkdir：创建文件夹
- 3．touch：新建文件
- 4．cat、text、tail：查看文件内容
- 5．appendToFile：追写文件
- 6．put/get：上传/下载文件
- 7．rm：删除文件或目录
- 8．du：显示占用磁盘空间大小
- 3.3.2 dfsadmin命令
- 3.3.3 NameNode命令
- 3.3.4 fsck命令
- 3.3.5 pipes命令
- 3.3.6 job命令
- 3.4 HDFS中Java API的使用
- 3.4.1 上传文件
- 3.4.2 新建文件
- 3.4.3 查看文件详细信息
- 3.4.4 下载文件
- 3.5 RPC通信
- 3.5.1 反射机制
- 3.5.2 代理模式与动态代理
- 3.5.3 Hadoop RPC机制与源码分析
- 1．HDFS相关
- 2．Mapreduce相关
- 习题
- 04
- 第4章
- YARN技术
- 4.1 YARN概述
- 4.1.1 YARN产生背景——MRv1的局限性
- 4.1.2 YARN的通信协议
- 4.2 YARN基本框架
- 4.2.1 RM进程
- 4.2.2 NM进程
- 4.2.3 AM进程
- 4.2.4 YARN的资源表示模型Container
- 4.3 YARN资源调度器
- 4.3.1 FIFO调度器
- 4.3.2 Capacity调度器
- 4.3.3 Fair调度器
- 4.4 YARN的工作流程
- 4.5 YARN的实战案例
- 1．DistributedShell客户端源码分析
- 2．DistributedShellApplicationMaster源码分析
- 习题
- 05
- 第5章
- MapReduce技术
- 5.1 什么是MapReduce
- 5.2 MapReduce编程模型
- 5.2.1 MapReduce简介
- 5.2.2 MapReduce简单模型
- 5.2.3 MapReduce复杂模型
- 5.2.4 MapReduce编程实例——WordCountOrDuration
- 5.3 MapReduce数据流
- 5.3.1 分片并格式化原始数据（InputFormat）
- 1．分片操作（Split）
- 2．数据格式化（Format）
- 3．实例分析
- 5.3.2 Map过程
- 5.3.3 Shuffle过程
- 1．Mapper端的Shuffle
- 2．Reducer端的Shuffle
- 3．实例分析
- 5.3.4 Reduce过程
- 5.3.5 按指定格式写入文件（OutputFormat）
- 5.4 MapReduce任务流程
- 5.5 MapReduce的Streaming和Pipe
- 5.5.1 Hadoop Streaming
- 5.5.2 Hadoop Pipe
- 5.6 MapReduce性能调优
- 1．合并小文件和合理设置Mapper数量
- 2．推测执行
- 3．优化每个节点同时运行的任务数
- 4．合理设置Reducer数量
- 5．压缩Map输出
- 6．JVM重用
- 7．JVM内存
- 5.7 MapReduce实战
- 5.7.1 快速入门
- 1．相关文件准备
- 2．环境准备
- 3．使用Eclipse创建一个Java工程
- 4．导入Hadoop的相关jar包
- 5．MapReduce代码的实现
- 6．打包工程为jar包
- 7．部署并运行
- 5.7.2 简单使用Eclipse插件
- 1．获取Eclipse插件
- 2．使用Hadoop Eclipse插件
- 3．在Eclipse中将任务提交到Hadoop
- 4．建立Map/Reduce项目
- 习题
- 06
- 第6章
- Hadoop I/O操作
- 6.1 HDFS数据完整性
- 6.1.1 校验和
- 1．写入DataNode验证
- 2．读取DataNode验证
- 3．恢复数据
- 4．LocalFileSystem类
- 5．ChecksumFileSystem类
- 6.1.2 运行后台进程来检测数据块
- 6.2 基于文件的数据结构
- 6.2.1 SequenceFile的存储
- 1．SequenceFile的写操作
- 2．SequenceFile的读操作
- 6.2.2 MapFile的存储
- 1．MapFile写操作
- 2．MapFile读操作
- 6.2.3 SequenceFile转换为MapFile
- 6.3 压缩
- 6.3.1 认识压缩
- 6.3.2 Codec
- 6.3.3 本地库
- 6.3.4 如何选择压缩格式
- 1．gzip压缩
- 2．lzo压缩
- 3．Snappy压缩
- 4．bzip2压缩
- 6.4 序列化
- 6.4.1 认识序列化
- 6.4.2 Writable接口
- 6.4.3 WritableComparable接口
- 6.4.4 Hadoop Writable基本类型
- 1．Text类型
- 2．BytesWritable
- 3．NullWritable
- 4．ObjectWritable和GenericWritable
- 6.4.5 自定义Writable类型
- 习题
- 07
- 第7章
- 海量数据库技术HBase
- 7.1 初识HBase
- 7.2 HBase表视图
- 7.2.1 概念视图
- 1．行（Row）
- 2．行键（RowKey）
- 3．列族（ColumnFamily）
- 4．列（Column）
- 5．表格单元（Cell）
- 6．时间戳（TimeStamp）
- 7.2.2 物理视图
- 7.3 HBase物理存储模型
- 1．Client
- 2．ZooKeeper
- 3．HMaster
- 4．HRegionServer
- 5．HRegion
- 6．WAL
- 7．HFile
- 7.4 安装HBase
- 7.4.1 HBase单节点安装
- 7.4.2 HBase伪分布式安装
- 7.4.3 HBase完全分布式安装
- 7.5 HBase Shell
- 7.5.1 HBase Shell的命令
- 7.5.2 general操作
- 1．查看HBaseRegionServer运行状态
- 2．查看HBase版本
- 3．查看当前用户
- 4．table_help命令
- 7.5.3 DDL操作
- 1．创建表student
- 2．查看所有的表
- 3．查看表结构
- 4．删除列族stu_id
- 5．删除一个表
- 6．查询一个表是否存在
- 7．查询一个表的使用状态
- 7.5.4 DML操作
- 习题
- 08
- 第8章
- ZooKeeper技术
- 8.1 分布式协调技术及其实现者
- 8.1.1 分布式协调技术
- 8.1.2 实现者
- 8.2 ZooKeeper基本架构
- 8.2.1 角色
- 8.2.2 选举机制
- 8.3 ZooKeeper数据模型
- 8.3.1 Znode
- 8.3.2 ZooKeeper中的时间
- 1．Zxid
- 2．版本号
- 8.3.3 ZooKeeper节点属性
- 8.3.4 watch触发器
- 1．watch类型
- 2．watch注册与触发
- 3．watch主要应用
- 8.4 ZooKeeper集群安装
- 1．安装步骤
- 2．最低配置要求中必须配置的参数
- 3．可选配置参数
- 4．集群配置
- 8.5 ZooKeeper的主要Shell操作
- 8.6 典型运用场景
- 8.6.1 数据发布与订阅
- 1．典型场景描述
- 2．应用
- 3．应用举例
- 8.6.2 统一命名服务
- 1．场景描述
- 2．应用
- 3．应用举例
- 8.6.3 分布通知/协调
- 1．典型场景描述
- 2．应用
- 习题
- 09
- 第9章
- 分布式数据仓库技术Hive
- 9.1 Hive出现的原因
- 9.2 Hive服务的组成
- 9.3 Hive的安装
- 9.3.1 Hive基本安装
- 9.3.2 MySQL的安装
- 1．Hive元数据存储模式
- 2．MySQL的基本安装
- 3．创建数据库实例
- 9.3.3 Hive的配置
- 1．hive-site.xml文件内容
- 2．编辑hive-env.sh文件，在文件末尾添加变量指向Hadoop的安装路径
- 3．创建数据仓库操作过程中，临时数据在HDFS上的转存目录
- 4．创建数据仓库操作过程中，数据文件在HDFS上的存储目录
- 5．分别对刚创建的目录添加组可写权限，允许同组用户进行数据分析操作
- 9.4 Hive Shell
- 9.5 HQL
- 9.5.1 认识HQL
- 9.5.2 Hive管理数据方式
- 1．内部表
- 2．外部表
- 3．内部表与外部表之间的抉择
- 4．分区
- 5．桶
- 9.5.3 Hive表的DDL操作
- 1．Create/Drop/Alter数据库
- 2．Create/Drop/Truncate表
- 3．Alter表/分区/列
- 4．Create/Drop/Alter视图
- 5．Create/Drop/Alter索引
- 6．Create/Drop函数
- 7．Create/Drop/Grant/Revoke角色和权限
- 9.5.4 Hive表的DML操作
- 1．将文件中的数据导入（LOAD）Hive表中
- 2．select操作
- 3．将select查询结果插入表中
- 4．将select查询结果写入文件
- 5．Hive表的ACID事务特性
- 习题
- 10
- 第10章
- 分布式数据分析工具Pig
- 10.1 Pig的安装和配置
- 1．Pig的安装
- 2．Pig的配置
- 10.2 Pig的基本概念
- 1．Pig Latin标识符
- 2．大小写规则
- 3．关系（relation）、包（bag）、元组（tuple）、字段（field）
- 4．Pig Latin语句
- 10.3 Pig的保留关键字
- 1．Pig的数据类型
- 2．Nulls
- 3．Pig相关命令
- 4．Pig内置函数（built-in function）
- 10.4 使用Pig
- 10.4.1 Pig命令行选项
- 10.4.2 Pig的运行模式
- 1．本地模式
- 2．MapReduce模式
- 10.4.3 Pig相关Shell命令
- 1．外部相关Shell操作命令
- 2．grunt shell内部功能命令
- 3．grunt shell与HDFS交互命令
- 10.4.4 Pig程序运行方式
- 1．Pig脚本文件
- 2．Pig交互式shell--grunt
- 3．将Pig命令嵌入宿主程序
- 10.4.5 Pig的输入与输出
- 1．LOAD
- 2．STORE
- 3．DUMP
- 10.5 Pig模式（Schemas）
- 1．定义关系模式
- 2．操作关系模式
- 3．用LOAD和STREAM定义关系模式
- 4．用FOREACH定义关系模式
- 5．使用简单数据类型定义模式
- 6．使用复杂数据类型定义模式
- 10.6 Pig相关函数
- 1．内置函数
- 2．用户自定义函数
- 习题
- 11
- 第11章
- Hadoop与RDBMS数据迁移工具Sqoop
- 11.1 Sqoop简介及基本安装
- 1．Sqoop简介
- 2．Sqoop的基本安装
- 11.2 Sqoop的配置
- 11.3 Sqoop的相关功能
- 11.3.1 Sqoop的工具命令
- 11.3.2 Sqoop与MySQL
- 11.3.3 sqoop-import操作
- 1．连接数据库服务器
- 2．将MySQL表sqoopDB.employees中的数据导入HDFS上
- 3．查看导入HDFS的表数据
- 4．将sqoop-import增量导入HDFS
- 5．将MySQL表sqoopDB.employees中的数据导入Hive
- 6．将MySQL表sqoopDB.employees中的数据导入HBase
- 11.3.4 sqoop-import-all-tables操作
- 11.3.5 sqoop-export操作
- 1．sqoop-export语法及说明
- 2．sqoop-export 操作模式
- 11.3.6 sqoop-list-databases和sqoop-list-tables操作
- 11.4 Hive、Pig和Sqoop三者之间的关系
- 习题
- 12
- 第12章
- 大数据实时处理技术
- 12.1 Storm大数据实时处理技术
- 12.1.1 Apache Storm的组成结构
- 12.1.2 数据流与分组
- 1．Storm数据流
- 2．Storm分组
- 12.1.3 Storm-Yarn产生的背景
- 12.1.4 Storm-Yarn的功能
- 12.2 Spark大数据实时处理技术
- 12.2.1 Apache Spark架构
- 1．Spark集群的基本概念
- 2．Spark组成结构
- 3．Spark架构的特点
- 12.2.2 Apache Spark的扩展功能
- 1．Spark SQL
- 2．SparkStreaming
- 3．GraphX
- 12.3 Storm与Spark的异同
- 1．Storm与Spark的共同点
- 2．Storm与Spark的差异
- 习题
- fla
- 附录A
- 使用Eclipse提交Hadoop任务时相关错误的修复
- 1．提交任务时出现Failed to locate the winutils binary in the hadoop binary path
- 2．提交任务时出现org.apache.hadoop.util.Shell$ExitCodeException: /bin/bash: line 0: fg: no job control错误
- flb
- 附录B
- 常用Pig内置函数
- 1．可重入函数（Eval Functions）
- 2．加载/存储函数（Load/Store Functions）
- 3．数学函数（Math Functions）
- 4．字符串函数（String Functions）
- 5．时间函数（Datetime Functions）
- 6．Map/Bag/Tuple函数
展开全部
Hadoop大数据处理技术基础与实践（第2版）（微课版）是2020年由人民邮电出版社出版,作者安俊秀 靳宇倡 郭英。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Hadoop大数据处理技术基础与实践（第2版）（微课版）》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
