电子书
内容简介
本书共7个项目，内容包括了解大数据、结构化数据仓库——Hive、列存储数据库——HBase、文档存储数据库——MongoDB、文档存储数据库——ElasticSearch、数据传输工具——Sqoop,以及广电用户数据存储与分析。
章节目录
- 项目 ❶ 了解大数据
- 教学目标
- 项目描述
- 项目实施
- 任务1.1 大数据简介
- 1.1.1 大数据的概念
- 1.1.2 大数据的特征
- 1.1.3 大数据的应用领域
- 1.1.4 大数据技术体系
- 任务1.2 大数据存储技术
- 1.2.1 了解数据存储
- 1.2.2 了解分布式数据库
- 项目总结
- 课后习题
- 拓展阅读
- 项目 ❷ 结构化数据仓库——Hive
- 教学目标
- 项目描述
- 项目实施
- 任务2.1 Hive 的架构原理简介
- 2.1.1 认识Hive
- 2.1.2 了解Hive 的架构
- 任务2.2 安装与配置Hive
- 2.2.1 搭建Hadoop 集群
- 2.2.2 配置MySQL 数据库
- 2.2.3 配置Hive 数据仓库
- 任务2.3 创建航空客户信息表
- 2.3.1 掌握Hive 基础数据类型
- 2.3.2 创建表
- 2.3.3 删除表与表数据
- 2.3.4 修改表结构
- 2.3.5 任务实现
- 任务2.4 导入航空客户数据到航空客户信息表
- 2.4.1 导入数据
- 2.4.2 导出数据
- 2.4.3 任务实现
- 任务2.5 查询航空客户信息表空值记录数
- 2.5.1 认识SELECT 语句结构
- 2.5.2 了解运算符的使用
- 2.5.3 使用WHERE 语句进行条件查询
- 2.5.4 任务实现
- 任务2.6 查询航空客户信息表字段数据的最大值和最小值
- 2.6.1 认识HiveQL 内置函数
- 2.6.2 任务实现
- 任务2.7 统计会员数最多的会员级别
- 2.7.1 认识HiveQL 子查询
- 2.7.2 任务实现
- 任务2.8 编写UDF 统计客户入会时长
- 2.8.1 编写Hive 中的UDF
- 2.8.2 任务实现
- 任务2.9 构建航空客户价值分析的特征数据
- 2.9.1 过滤无效、异常数据
- 2.9.2 选取有效字段
- 2.9.3 构建模型指标
- 项目总结
- 实 训
- 实训1 统计学生成绩的总分、平均分
- 实训2 合并文件数据并进行条件查询
- 课后习题
- 拓展阅读
- 项目 ❸ 列存储数据库——HBase
- 教学目标
- 项目描述
- 项目实施
- 任务3.1 HBase 简介
- 3.1.1 了解HBase
- 3.1.2 掌握HBase 核心功能模块
- 3.1.3 了解HBase 的数据模型
- 任务3.2 安装HBase 集群
- 3.2.1 安装前的准备工作
- 3.2.2 安装与配置Zookeeper
- 3.2.3 安装与配置HBase
- 任务3.3 设计与新建钞票交易数据表
- 3.3.1 设计表结构的原则
- 3.3.2 创建与删除表
- 3.3.3 任务实现
- 任务3.4 新增与删除钞票交易数据表数据
- 3.4.1 插入数据
- 3.4.2 查询数据
- 3.4.3 删除数据
- 3.4.4 扫描全表
- 3.4.5 任务实现
- 任务3.5 查询指定时间版本的钞票数据
- 3.5.1 按时间版本查询数据
- 3.5.2 任务实现
- 任务3.6 使用Java API 创建钞票交易数据表
- 3.6.1 搭建HBase 开发环境
- 3.6.2 创建表与删除表的方法
- 3.6.3 任务实现
- 任务3.7 通过Java API 插入数据到钞票交易数据表并查询
- 3.7.1 调用表对象的put()方法插入数据
- 3.7.2 调用表对象的get()方法进行查询
- 3.7.3 调用表对象的scan()方法进行全表查询
- 3.7.4 任务实现
- 任务3.8 通过MapReduce 导入数据到钞票交易数据表
- 3.8.1 编写MapReduce 实现数据交互
- 3.8.2 任务实现
- 项目总结
- 实 训
- 实训1 查询学生成绩信息
- 实训2 用户访问网站日志分析
- 课后习题
- 拓展阅读
- 项目 ❹ 文档存储数据库——MongoDB
- 教学目标
- 项目描述
- 项目实施
- 任务4.1 MongoDB 简介
- 4.1.1 了解MongoDB
- 4.1.2 了解MongoDB 数据模型
- 任务4.2 安装分布式MongoDB
- 4.2.1 安装与配置MongoDB
- 4.2.2 访问MongoDB HTTP 端口
- 任务4.3 创建存储用户日志数据的数据库
- 4.3.1 创建与删除数据库
- 4.3.2 任务实现
- 任务4.4 存储用户日志数据到MongoDB
- 4.4.1 插入文档数据
- 4.4.2 删除文档数据
- 4.4.3 更新文档数据
- 4.4.4 任务实现
- 任务4.5 查询MongoDB 中用户访问HTML 页面的记录数
- 4.5.1 查询文档数据
- 4.5.2 索引
- 4.5.3 聚合
- 4.5.4 任务实现
- 任务4.6 使用MongoDB Java API 创建电子商务日志数据存储系统
- 4.6.1 搭建MongoDB 的开发环境
- 4.6.2 创建电子商务日志数据存储数据库
- 4.6.3 任务实现
- 项目总结
- 实 训
- 实训1 学生信息的存储和查询
- 实训2 电影评分查询
- 课后习题
- 拓展阅读
- 项目 ❺ 文档存储数据库——ElasticSearch
- 教学目标
- 项目描述
- 项目实施
- 任务5.1 ElasticSearch 简介
- 5.1.1 了解ElasticSearch
- 5.1.2 安装分布式ElasticSearch
- 任务5.2 使用Head 扩展插件存储用户和电影信息数据
- 5.2.1 配置Head 插件
- 5.2.2 创建与修改索引
- 5.2.3 增加、删除与修改数据
- 5.2.4 查询数据
- 任务5.3 通过Java 存储用户对电影的评分数据
- 5.3.1 搭建ElasticSearch 开发环境
- 5.3.2 创建与修改索引
- 5.3.3 增加、删除与修改数据
- 5.3.4 批量操作
- 5.3.5 任务实现
- 任务5.4 通过Java 查询插入的数据记录
- 5.4.1 调用Get API 查询
- 5.4.2 调用Search API 查询
- 5.4.3 输出设置
- 5.4.4 任务实现
- 任务5.5 查询评价电影超过50 次的用户
- 5.5.1 度量聚合
- 5.5.2 分组聚合
- 5.5.3 任务实现
- 项目总结
- 实 训
- 实训1 查询手机信息
- 实训2 查询学生成绩信息
- 课后习题
- 拓展阅读
- 项目 ❻ 数据传输工具——Sqoop
- 教学目标
- 项目描述
- 项目实施
- 任务6.1 Sqoop 简介
- 6.1.1 了解Sqoop
- 6.1.2 安装与配置Sqoop
- 6.1.3 了解Sqoop 基本传输命令
- 任务6.2 查询MySQL 用户日志数据表的记录数
- 6.2.1 掌握Sqoop eval 的基本操作
- 6.2.2 任务实现
- 任务6.3 将MySQL 中的用户日志数据增量导入Hive
- 6.3.1 掌握Sqoop import 的基本操作
- 6.3.2 掌握Sqoop job 的基本操作
- 6.3.3 使用Sqoop 将MySQL 中的数据导入Hive
- 6.3.4 任务实现
- 任务6.4 导出Hive 中的筛选结果至MySQL
- 6.4.1 掌握Sqoop export 基本操作
- 6.4.2 使用Sqoop 从Hive 传输数据到MySQL
- 6.4.3 任务实现
- 项目总结
- 实 训
- 实训 传输用户登录数据
- 课后习题
- 拓展阅读
- 项目 ❼ 广电用户数据存储与分析
- 教学目标
- 项目描述
- 项目实施
- 任务7.1 分析需求与架构
- 7.1.1 业务需求分析
- 7.1.2 选择存储与分析技术
- 7.1.3 设计存储与分析架构
- 任务7.2 将CSV 格式数据导入ElasticSearch
- 7.2.1 了解数据
- 7.2.2 将数据导入ElasticSearch
- 任务7.3 转移ElasticSearch 数据至Hive
- 7.3.1 在Hive 中创建数据管理表
- 7.3.2 查看Hive 中的表数据
- 任务7.4 统计各表宣传数据和政企用户记录数
- 7.4.1 统计各表宣传数据记录数
- 7.4.2 统计各表政企用户记录数
- 任务7.5 统计无效收视数据
- 7.5.1 统计用户收视时长分布
- 7.5.2 统计机顶盒待机记录数
- 任务7.6 处理各表无效数据
- 7.6.1 处理无效用户信息
- 7.6.2 处理无效收视数据
- 7.6.3 处理无效账单数据
- 7.6.4 处理无效订单数据
- 任务7.7 计算用户电视消费水平和宽带消费水平
- 7.7.1 计算电视消费水平和宽带消费水平
- 7.7.2 将数据保存至其他数据库
- 项目总结
- 拓展阅读
展开全部
大数据存储是2022年由人民邮电出版社出版,作者谭旭，李程文 主编。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《大数据存储》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
