MongoDB是一种面向文档的分布式数据库。时至今日，MongoDB以其灵活的数据存储方式逐渐成为IT行业非常流行的一种非关系型数据库（NoSQL）。本书从学习与实践者的视角出...
电子书
内容简介
本书共7个项目，内容包括了解大数据、结构化数据仓库——Hive、列存储数据库——HBase、文档存储数据库——MongoDB、文档存储数据库——ElasticSearch、数据传输工具——Sqoop,以及广电用户数据存储与分析。
章节目录
- 项目 ❶ 了解大数据
- 教学目标
- 项目描述
- 项目实施
- 任务1.1 大数据简介
- 1.1.1 大数据的概念
- 1.1.2 大数据的特征
- 1.1.3 大数据的应用领域
- 1.1.4 大数据技术体系
- 任务1.2 大数据存储技术
- 1.2.1 了解数据存储
- 1.2.2 了解分布式数据库
- 项目总结
- 课后习题
- 拓展阅读
- 项目 ❷ 结构化数据仓库——Hive
- 教学目标
- 项目描述
- 项目实施
- 任务2.1 Hive 的架构原理简介
- 2.1.1 认识Hive
- 2.1.2 了解Hive 的架构
- 任务2.2 安装与配置Hive
- 2.2.1 搭建Hadoop 集群
- 2.2.2 配置MySQL 数据库
- 2.2.3 配置Hive 数据仓库
- 任务2.3 创建航空客户信息表
- 2.3.1 掌握Hive 基础数据类型
- 2.3.2 创建表
- 2.3.3 删除表与表数据
- 2.3.4 修改表结构
- 2.3.5 任务实现
- 任务2.4 导入航空客户数据到航空客户信息表
- 2.4.1 导入数据
- 2.4.2 导出数据
- 2.4.3 任务实现
- 任务2.5 查询航空客户信息表空值记录数
- 2.5.1 认识SELECT 语句结构
- 2.5.2 了解运算符的使用
- 2.5.3 使用WHERE 语句进行条件查询
- 2.5.4 任务实现
- 任务2.6 查询航空客户信息表字段数据的最大值和最小值
- 2.6.1 认识HiveQL 内置函数
- 2.6.2 任务实现
- 任务2.7 统计会员数最多的会员级别
- 2.7.1 认识HiveQL 子查询
- 2.7.2 任务实现
- 任务2.8 编写UDF 统计客户入会时长
- 2.8.1 编写Hive 中的UDF
- 2.8.2 任务实现
- 任务2.9 构建航空客户价值分析的特征数据
- 2.9.1 过滤无效、异常数据
- 2.9.2 选取有效字段
- 2.9.3 构建模型指标
- 项目总结
- 实 训
- 实训1 统计学生成绩的总分、平均分
- 实训2 合并文件数据并进行条件查询
- 课后习题
- 拓展阅读
- 项目 ❸ 列存储数据库——HBase
- 教学目标
- 项目描述
- 项目实施
- 任务3.1 HBase 简介
- 3.1.1 了解HBase
- 3.1.2 掌握HBase 核心功能模块
- 3.1.3 了解HBase 的数据模型
- 任务3.2 安装HBase 集群
- 3.2.1 安装前的准备工作
- 3.2.2 安装与配置Zookeeper
- 3.2.3 安装与配置HBase
- 任务3.3 设计与新建钞票交易数据表
- 3.3.1 设计表结构的原则
- 3.3.2 创建与删除表
- 3.3.3 任务实现
- 任务3.4 新增与删除钞票交易数据表数据
- 3.4.1 插入数据
- 3.4.2 查询数据
- 3.4.3 删除数据
- 3.4.4 扫描全表
- 3.4.5 任务实现
- 任务3.5 查询指定时间版本的钞票数据
- 3.5.1 按时间版本查询数据
- 3.5.2 任务实现
- 任务3.6 使用Java API 创建钞票交易数据表
- 3.6.1 搭建HBase 开发环境
- 3.6.2 创建表与删除表的方法
- 3.6.3 任务实现
- 任务3.7 通过Java API 插入数据到钞票交易数据表并查询
- 3.7.1 调用表对象的put()方法插入数据
- 3.7.2 调用表对象的get()方法进行查询
- 3.7.3 调用表对象的scan()方法进行全表查询
- 3.7.4 任务实现
- 任务3.8 通过MapReduce 导入数据到钞票交易数据表
- 3.8.1 编写MapReduce 实现数据交互
- 3.8.2 任务实现
- 项目总结
- 实 训
- 实训1 查询学生成绩信息
- 实训2 用户访问网站日志分析
- 课后习题
- 拓展阅读
- 项目 ❹ 文档存储数据库——MongoDB
- 教学目标
- 项目描述
- 项目实施
- 任务4.1 MongoDB 简介
- 4.1.1 了解MongoDB
- 4.1.2 了解MongoDB 数据模型
- 任务4.2 安装分布式MongoDB
- 4.2.1 安装与配置MongoDB
- 4.2.2 访问MongoDB HTTP 端口
- 任务4.3 创建存储用户日志数据的数据库
- 4.3.1 创建与删除数据库
- 4.3.2 任务实现
- 任务4.4 存储用户日志数据到MongoDB
- 4.4.1 插入文档数据
- 4.4.2 删除文档数据
- 4.4.3 更新文档数据
- 4.4.4 任务实现
- 任务4.5 查询MongoDB 中用户访问HTML 页面的记录数
- 4.5.1 查询文档数据
- 4.5.2 索引
- 4.5.3 聚合
- 4.5.4 任务实现
- 任务4.6 使用MongoDB Java API 创建电子商务日志数据存储系统
- 4.6.1 搭建MongoDB 的开发环境
- 4.6.2 创建电子商务日志数据存储数据库
- 4.6.3 任务实现
- 项目总结
- 实 训
- 实训1 学生信息的存储和查询
- 实训2 电影评分查询
- 课后习题
- 拓展阅读
- 项目 ❺ 文档存储数据库——ElasticSearch
- 教学目标
- 项目描述
- 项目实施
- 任务5.1 ElasticSearch 简介
- 5.1.1 了解ElasticSearch
- 5.1.2 安装分布式ElasticSearch
- 任务5.2 使用Head 扩展插件存储用户和电影信息数据
- 5.2.1 配置Head 插件
- 5.2.2 创建与修改索引
- 5.2.3 增加、删除与修改数据
- 5.2.4 查询数据
- 任务5.3 通过Java 存储用户对电影的评分数据
- 5.3.1 搭建ElasticSearch 开发环境
- 5.3.2 创建与修改索引
- 5.3.3 增加、删除与修改数据
- 5.3.4 批量操作
- 5.3.5 任务实现
- 任务5.4 通过Java 查询插入的数据记录
- 5.4.1 调用Get API 查询
- 5.4.2 调用Search API 查询
- 5.4.3 输出设置
- 5.4.4 任务实现
- 任务5.5 查询评价电影超过50 次的用户
- 5.5.1 度量聚合
- 5.5.2 分组聚合
- 5.5.3 任务实现
- 项目总结
- 实 训
- 实训1 查询手机信息
- 实训2 查询学生成绩信息
- 课后习题
- 拓展阅读
- 项目 ❻ 数据传输工具——Sqoop
- 教学目标
- 项目描述
- 项目实施
- 任务6.1 Sqoop 简介
- 6.1.1 了解Sqoop
- 6.1.2 安装与配置Sqoop
- 6.1.3 了解Sqoop 基本传输命令
- 任务6.2 查询MySQL 用户日志数据表的记录数
- 6.2.1 掌握Sqoop eval 的基本操作
- 6.2.2 任务实现
- 任务6.3 将MySQL 中的用户日志数据增量导入Hive
- 6.3.1 掌握Sqoop import 的基本操作
- 6.3.2 掌握Sqoop job 的基本操作
- 6.3.3 使用Sqoop 将MySQL 中的数据导入Hive
- 6.3.4 任务实现
- 任务6.4 导出Hive 中的筛选结果至MySQL
- 6.4.1 掌握Sqoop export 基本操作
- 6.4.2 使用Sqoop 从Hive 传输数据到MySQL
- 6.4.3 任务实现
- 项目总结
- 实 训
- 实训 传输用户登录数据
- 课后习题
- 拓展阅读
- 项目 ❼ 广电用户数据存储与分析
- 教学目标
- 项目描述
- 项目实施
- 任务7.1 分析需求与架构
- 7.1.1 业务需求分析
- 7.1.2 选择存储与分析技术
- 7.1.3 设计存储与分析架构
- 任务7.2 将CSV 格式数据导入ElasticSearch
- 7.2.1 了解数据
- 7.2.2 将数据导入ElasticSearch
- 任务7.3 转移ElasticSearch 数据至Hive
- 7.3.1 在Hive 中创建数据管理表
- 7.3.2 查看Hive 中的表数据
- 任务7.4 统计各表宣传数据和政企用户记录数
- 7.4.1 统计各表宣传数据记录数
- 7.4.2 统计各表政企用户记录数
- 任务7.5 统计无效收视数据
- 7.5.1 统计用户收视时长分布
- 7.5.2 统计机顶盒待机记录数
- 任务7.6 处理各表无效数据
- 7.6.1 处理无效用户信息
- 7.6.2 处理无效收视数据
- 7.6.3 处理无效账单数据
- 7.6.4 处理无效订单数据
- 任务7.7 计算用户电视消费水平和宽带消费水平
- 7.7.1 计算电视消费水平和宽带消费水平
- 7.7.2 将数据保存至其他数据库
- 项目总结
- 拓展阅读
展开全部
大数据存储是2022年由人民邮电出版社出版,作者谭旭，李程文 主编。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《大数据存储》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
MongoDB是一种面向文档的分布式数据库。时至今日，MongoDB以其灵活的数据存储方式逐渐成为IT行业非常流行的一种非关系型数据库（NoSQL）。本书从学习与实践者的视角出...
电子书
近年来，云计算、物联网、区块链和边缘计算等多种新型应用产生了海量的、有价值的数据，而且呈现出持续增长的趋势。如何有效地存储和管理如此庞大数据是现代工业界和学术界共同关注的重点和...
电子书
全书共有13章，系统地论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapR...
电子书
本书由华为技术有限公司与上海交通大学计算机科学与工程系联合编写，融合了上海交通大学在计算机领域精深的理论研究和华为技术有限公司业界领先的应用实践，本书内容包括：IT基础设施介绍...
电子书
《私有云存储系统搭建与应用》主要内容大致分为四个部分：第壹部分（第1～3章）介绍Swift存储系统，第二部分（第4、5章）介绍如何搭建基于Swift的私有化存储系统，第三部分（...
电子书
存储器是信息技术的核心载体，无论是计算还是通信，都要以存储为其开端和终点，因此存储版块在信息产业的发展中具备先导性和需求刚性。有机薄膜晶体管存储器是新世代存诸技术的研究热点，它...