内容简介
本书主要内容包括：大数据技术概述、Linux基础与集群搭建、Hadoop集群配置、HDFS、MapReduce分布式编程、Hive大数据仓库、HBase数据库部署与操作、数据获取与Flume应用、基于Spark的内存计算，以及利用大数据平台处理图像。
展开全文
- A-fy
- 56719-bq
- C-BW
- d-qy
- e-ml
- 01
- 第1章
- 大数据技术概述
- 1.1 大数据的概念与基本特性
- 1.2 大数据处理流程
- 1．数据采集
- 2．数据导入与清洗处理
- 3．数据统计与数据分析
- 4．数据挖掘和应用
- 1.3 Hadoop大数据技术
- 1.3.1 Hadoop简介
- 1．HDFS
- 2．MapReduce
- 3．HBase
- 4．YARN
- 5．Hive
- 6．Flume
- 7．Spark
- 8．Spark Streaming
- 9．MLlib
- 10．Tachyon
- 1.3.2 Hadoop的发行版本
- 1．Cloudera公司的CDH
- 2．MapR公司的MapR
- 3．Amazon公司的Amazon Elastic MapReduce
- 4．华为公司的FusionInsight
- 1.4 实践环境准备
- 习 题
- 02
- 第2章
- Linux基础与集群搭建
- 2.1 Linux常用命令
- 2.1.1 用户和用户组
- 1．创建用户
- 2．创建用户组
- 3．创建用户的同时增加用户组
- 4．给已有的用户增加用户组
- 5．永久删除用户和用户组
- 2.1.2 文件与目录
- 1．切换目录
- 2．查看目录中的文件信息
- 3．文件或目录复制
- 4．文件或目录的创建、移动、删除
- 5．查看文件内容
- 6．文本内容处理
- 7．Vim文件编辑操作
- 8．查询
- 9．压缩、解压
- 10．修改文件或目录权限
- 2.1.3 主机名
- 1．查看主机名
- 2．永久修改主机名
- 2.1.4 分区管理
- 1．查看硬盘的使用状况
- 2．硬盘分区
- 3．挂载硬盘
- 2.2 网络配置
- 2.2.1 基本网络配置
- 1．关闭防火墙
- 2．关闭SELinux
- 2.2.2 集群网络配置
- 1．VirtualBox的桥接网卡模式
- 2．网络管理命令行工具
- 2.3 Linux集群配置
- 2.3.1 SSH免密码登录
- 2.3.2 Java环境安装
- 2.3.3 MySQL服务
- 1．安装MySQL
- 2．创建hadoop用户并设置权限
- 2.3.4 配置时钟同步
- 1．master端配置
- 2．slave端配置
- 3．重启并验证
- 2.4 快速配置Linux集群
- 2.4.1 导入虚拟机
- 2.4.2 快速配置
- 1．master节点
- 2．slave节点
- 习 题
- 03
- 第3章
- Hadoop集群配置
- 3.1 Hadoop集群安装
- 3.1.1 基础环境准备
- 3.1.2 配置Java环境
- 3.1.3 安装Hadoop
- 3.1.4 启动Hadoop
- 3.2 Hadoop集群初始化和日志查看
- 3.2.1 初始化文件系统
- 3.2.2 集群的启动与停止
- 3.2.3 查看日志
- 习 题
- 04
- 第4章
- HDFS
- 4.1 HDFS简介
- 4.1.1 HDFS的基本概念
- 1．数据块
- 2．NameNode和DataNode
- 3．联邦HDFS
- 4.1.2 HDFS文件的读取
- 4.1.3 HDFS文件的写入
- 4.1.4 HDFS 数据备份
- 4.2 HDFS基本命令
- 4.3 HDFS数据平衡优化
- 4.3.1 编程原则
- 4.3.2 平衡逻辑
- 4.3.3 数据平衡案例
- 4.4 HDFS API的使用方法
- 1．上传本地文件
- 2．创建HDFS文件
- 3．创建HDFS目录
- 4．重命名HDFS文件
- 5．删除HDFS文件
- 6．删除HDFS目录
- 7．查看HDFS文件是否存在
- 8．查看HDFS文件的状态
- 9．读取HDFS目录下的所有文件
- 习 题
- 05
- 第5章
- MapReduce分布式编程
- 5.1 MapReduce简介
- 5.2 词频统计编程实例
- 5.3 MapReduce Shuffle过程开发
- 5.3.1 MapReduce数据类型
- 5.3.2 Partitioner负载平衡编程
- 5.3.3 Sort排序编程
- 5.3.4 Combiner减少中间数据编程
- 5.4 MapReduce的性能优化
- 5.4.1 Hadoop配置参数调优
- 5.4.2 使用合适的数据类型
- 5.4.3 基准性能测试工具
- 1．TestDFSIO
- 2．TeraSort
- 3．MRbench
- 5.5 YARN数据处理框架
- 5.5.1 YARN常用命令
- 5.5.2 使用Web GUI监控实例
- 5.6 MapReduce实战：绘制频度分布
- 5.6.1 实战概述
- 5.6.2 实战步骤
- 5.6.3 源码分析
- 习 题
- 06
- 第6章
- Hive大数据仓库
- 6.1 Hive简介
- 6.2 Hive安装及配置
- 1．先决条件
- 2．下载Hive安装包
- 3．配置环境变量
- 4．配置Hive
- 5．运行Hive
- 6.3 从创建数据库到创建表
- 6.3.1 数据类型
- 6.3.2 创建数据库
- 6.3.3 创建表
- 6.3.4 删除表
- 6.3.5 修改表
- 1．表重命名
- 2．增加、修改和删除表分区
- 3．修改信息
- 4．增加字段
- 5．修改表属性
- 6．数据操作
- 6.4 数据查询及自定义函数运算
- 6.4.1 HiveQL操作
- 1．ALL和DISTINCT
- 2．table_reference
- 3．WHERE
- 4．GROUP BY
- 5．HAVING
- 6．ORDER BY 和SORT BY
- 7．DISTRIBUTE BY
- 8．CLUSTER BY
- 9．LIMIT
- 10．使用正则表达式和基于分区的查询
- 6.4.2 JOIN语句
- 1．内连接
- 2．左外连接
- 3．右外连接
- 4．完全外连接
- 5．半连接
- 6．Map连接
- 6.4.3 内置操作符和函数
- 1．内置操作符
- 2．内置函数
- 6.5 Hive自定义函数编程
- 6.5.1 数据准备
- 6.5.2 编程实现
- 6.5.3 使用自定义函数
- 6.6 Hive实战
- 6.6.1 数据准备
- 6.6.2 实战步骤
- 1．查询每场比赛投篮的次数
- ２．查询每场比赛命中次数最多的球员
- ３．查询每场比赛投中2分球最多的球员
- ４．查询每场比赛投中3分球最多的球员
- ５．查询每场比赛防守成功率最高的球员
- 6．获取赛季得分最高的前10名球员
- 习 题
- 07
- 第7章
- HBase数据库部署与操作
- 7.1 HBase简介
- 7.1.1 HBase表
- 7.1.2 HBase基本知识
- 7.2 HBase的安装
- 7.2.1 必要条件
- 1．Java
- 2．Hadoop
- 3．SSH
- 4．同步时间
- 5．设置DataNode处理线程数
- 7.2.2 安装配置HBase
- 1．解压并安装HBase
- 2．配置HBase
- 7.2.3 启动HBase
- 7.3 HBase Shell操作
- 7.3.1 普通命令
- 7.3.2 DDL操作
- 1．create
- 2．list
- 3．put
- 4．get
- 7.3.3 DML操作
- 7.3.4 工具命令
- 7.3.5 复制命令
- 7.4 HBase客户端API
- 7.4.1 CRUD操作
- 1．put( )方法
- 2．get( )方法
- 7.4.2 批量处理
- 7.4.3 行锁
- 7.4.4 扫描
- 7.4.5 数据过滤
- 1．比较过滤器
- 2．专用过滤器
- 3．附加过滤器
- 7.5 HBase客户端选择及配置优化
- 7.6 HBase与MapReduce集成
- 1．InputFormat 类
- 2．Mapper 类和 Reducer 类
- 3．OutputFormat 类
- 7.7 HBase集群监控
- 7.8 HBase实战：公有云网盘系统管理
- 7.8.1 部署公有云网盘
- 7.8.2 网盘核心代码分析
- 1．HBase与项目的基本配置
- 2．创建表
- 3．插入数据
- 4．删除表
- 5．删除数据
- 习 题
- 08
- 第8章
- 数据获取与Flume应用
- 8.1 公开数据资源获取
- 8.2 使用网络爬虫获取数据
- 8.2.1 爬虫的工作原理
- 8.2.2 爬虫的搜索策略
- 1．深度优先搜索策略
- 2．宽度优先搜索策略
- 3．聚焦搜索策略
- 8.2.3 爬虫的简单应用
- 8.3 使用Flume获取数据
- 8.3.1 Flume简介
- 8.3.2 Flume运行机制
- 8.3.3 Flume安装部署
- 8.3.4 Flume简单应用
- 8.4 综合案例
- 习 题
- 09
- 第9章
- 基于Spark的内存计算
- 9.1 Spark简介
- 9.2 Spark快速部署
- 9.2.1 Spark单机模式部署
- 1．安装配置JDK
- 2．安装配置Scala
- 3．安装配置Spark
- 9.2.2 Spark分布式集群部署
- 9.3 Spark程序
- 9.3.1 Spark Shell
- 9.3.2 在IDEA中编写词频统计
- 9.4 Spark RDD编程
- 9.4.1 RDD简介
- 9.4.2 RDD的操作算子
- 1．RDD的创建方式
- 2．基本RDD转换操作
- 3．基本RDD行动操作
- 9.4.3 RDD的持久化
- 9.5 Spark生态系统
- 9.5.1 Spark Core
- 9.5.2 Spark SQL
- 9.5.3 Spark Streaming
- 9.5.4 MLlib
- 1．速度高
- 2．简单易用
- 3．集成度高
- 9.5.5 GraphX
- 9.6 Spark应用案例
- 9.6.1 案例概述
- 9.6.2 代码实现
- 9.6.3 运行结果
- 习 题
- 10
- 第10章
- 利用大数据平台处理图像
- 10.1 图像的基本概念
- 1．BMP格式
- 2．TIFF格式
- 3．GIF格式
- 4．JPEG格式
- 5．PNG格式
- 10.2 Hadoop处理图像的问题与对策
- 10.2.1 Hadoop直接处理图像存在的问题
- 10.2.2 解决途径
- 1．海量小文件的存储
- 2．Map任务的输入
- 3．Spark处理图像的解决途径
- 10.3 HIPI安装与部署
- 1．检查Gradle
- 2．下载HIPI
- 3．构建HIPI库
- 10.4 使用HIPI进行图像处理
- 1．概述
- 2．处理步骤
- 10.5 HIPI工具hibDownload
- 10.5.1 编译hibDownload
- 10.5.2 hibDownload的使用方法
- 10.5.3 hibDownload的工作原理
- 1．Downloader InputFormat类
- 2．DownloaderRecordReader类
- 3．DownloaderMapper类
- 4．DownloaderReducer类
- 10.5.4 hibDownload的使用示例
- 习 题
- 11-ck
展开全部
版权信息
出版社：人民邮电出版社
出版时间：2021
作者：编著
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《大数据技术基础与实战》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
出版时间：2021
作者：编著
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《大数据技术基础与实战》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
大数据技术基础与实战
免费读 (VIP)