本书是华为ICT学院数据存储技术官方教材，旨在帮助学生学习数据存储技术的基本概念和原理、以及存储系统的搭建和使用。本书从信息传递方式的变迁引出数字化信息管理与存储的概念，进而概述存储系统构成和存储基础技术，再以磁盘阵列技术作为案例来阐述在同一存储设备上获得性能、容量、可用性三方面提升的设计思路；接下来从存储接口、传输协议、关键技术和功能支持等方面来讨论几类存储系统，包括直接连接存储、存储区域网络、
电子书
内容简介
本书共7个项目，内容包括了解大数据、结构化数据仓库——Hive、列存储数据库——HBase、文档存储数据库——MongoDB、文档存储数据库——ElasticSearch、数据传输工具——Sqoop,以及广电用户数据存储与分析。
章节目录
- 项目 ❶ 了解大数据
- 教学目标
- 项目描述
- 项目实施
- 任务1.1 大数据简介
- 1.1.1 大数据的概念
- 1.1.2 大数据的特征
- 1.1.3 大数据的应用领域
- 1.1.4 大数据技术体系
- 任务1.2 大数据存储技术
- 1.2.1 了解数据存储
- 1.2.2 了解分布式数据库
- 项目总结
- 课后习题
- 拓展阅读
- 项目 ❷ 结构化数据仓库——Hive
- 教学目标
- 项目描述
- 项目实施
- 任务2.1 Hive 的架构原理简介
- 2.1.1 认识Hive
- 2.1.2 了解Hive 的架构
- 任务2.2 安装与配置Hive
- 2.2.1 搭建Hadoop 集群
- 2.2.2 配置MySQL 数据库
- 2.2.3 配置Hive 数据仓库
- 任务2.3 创建航空客户信息表
- 2.3.1 掌握Hive 基础数据类型
- 2.3.2 创建表
- 2.3.3 删除表与表数据
- 2.3.4 修改表结构
- 2.3.5 任务实现
- 任务2.4 导入航空客户数据到航空客户信息表
- 2.4.1 导入数据
- 2.4.2 导出数据
- 2.4.3 任务实现
- 任务2.5 查询航空客户信息表空值记录数
- 2.5.1 认识SELECT 语句结构
- 2.5.2 了解运算符的使用
- 2.5.3 使用WHERE 语句进行条件查询
- 2.5.4 任务实现
- 任务2.6 查询航空客户信息表字段数据的最大值和最小值
- 2.6.1 认识HiveQL 内置函数
- 2.6.2 任务实现
- 任务2.7 统计会员数最多的会员级别
- 2.7.1 认识HiveQL 子查询
- 2.7.2 任务实现
- 任务2.8 编写UDF 统计客户入会时长
- 2.8.1 编写Hive 中的UDF
- 2.8.2 任务实现
- 任务2.9 构建航空客户价值分析的特征数据
- 2.9.1 过滤无效、异常数据
- 2.9.2 选取有效字段
- 2.9.3 构建模型指标
- 项目总结
- 实 训
- 实训1 统计学生成绩的总分、平均分
- 实训2 合并文件数据并进行条件查询
- 课后习题
- 拓展阅读
- 项目 ❸ 列存储数据库——HBase
- 教学目标
- 项目描述
- 项目实施
- 任务3.1 HBase 简介
- 3.1.1 了解HBase
- 3.1.2 掌握HBase 核心功能模块
- 3.1.3 了解HBase 的数据模型
- 任务3.2 安装HBase 集群
- 3.2.1 安装前的准备工作
- 3.2.2 安装与配置Zookeeper
- 3.2.3 安装与配置HBase
- 任务3.3 设计与新建钞票交易数据表
- 3.3.1 设计表结构的原则
- 3.3.2 创建与删除表
- 3.3.3 任务实现
- 任务3.4 新增与删除钞票交易数据表数据
- 3.4.1 插入数据
- 3.4.2 查询数据
- 3.4.3 删除数据
- 3.4.4 扫描全表
- 3.4.5 任务实现
- 任务3.5 查询指定时间版本的钞票数据
- 3.5.1 按时间版本查询数据
- 3.5.2 任务实现
- 任务3.6 使用Java API 创建钞票交易数据表
- 3.6.1 搭建HBase 开发环境
- 3.6.2 创建表与删除表的方法
- 3.6.3 任务实现
- 任务3.7 通过Java API 插入数据到钞票交易数据表并查询
- 3.7.1 调用表对象的put()方法插入数据
- 3.7.2 调用表对象的get()方法进行查询
- 3.7.3 调用表对象的scan()方法进行全表查询
- 3.7.4 任务实现
- 任务3.8 通过MapReduce 导入数据到钞票交易数据表
- 3.8.1 编写MapReduce 实现数据交互
- 3.8.2 任务实现
- 项目总结
- 实 训
- 实训1 查询学生成绩信息
- 实训2 用户访问网站日志分析
- 课后习题
- 拓展阅读
- 项目 ❹ 文档存储数据库——MongoDB
- 教学目标
- 项目描述
- 项目实施
- 任务4.1 MongoDB 简介
- 4.1.1 了解MongoDB
- 4.1.2 了解MongoDB 数据模型
- 任务4.2 安装分布式MongoDB
- 4.2.1 安装与配置MongoDB
- 4.2.2 访问MongoDB HTTP 端口
- 任务4.3 创建存储用户日志数据的数据库
- 4.3.1 创建与删除数据库
- 4.3.2 任务实现
- 任务4.4 存储用户日志数据到MongoDB
- 4.4.1 插入文档数据
- 4.4.2 删除文档数据
- 4.4.3 更新文档数据
- 4.4.4 任务实现
- 任务4.5 查询MongoDB 中用户访问HTML 页面的记录数
- 4.5.1 查询文档数据
- 4.5.2 索引
- 4.5.3 聚合
- 4.5.4 任务实现
- 任务4.6 使用MongoDB Java API 创建电子商务日志数据存储系统
- 4.6.1 搭建MongoDB 的开发环境
- 4.6.2 创建电子商务日志数据存储数据库
- 4.6.3 任务实现
- 项目总结
- 实 训
- 实训1 学生信息的存储和查询
- 实训2 电影评分查询
- 课后习题
- 拓展阅读
- 项目 ❺ 文档存储数据库——ElasticSearch
- 教学目标
- 项目描述
- 项目实施
- 任务5.1 ElasticSearch 简介
- 5.1.1 了解ElasticSearch
- 5.1.2 安装分布式ElasticSearch
- 任务5.2 使用Head 扩展插件存储用户和电影信息数据
- 5.2.1 配置Head 插件
- 5.2.2 创建与修改索引
- 5.2.3 增加、删除与修改数据
- 5.2.4 查询数据
- 任务5.3 通过Java 存储用户对电影的评分数据
- 5.3.1 搭建ElasticSearch 开发环境
- 5.3.2 创建与修改索引
- 5.3.3 增加、删除与修改数据
- 5.3.4 批量操作
- 5.3.5 任务实现
- 任务5.4 通过Java 查询插入的数据记录
- 5.4.1 调用Get API 查询
- 5.4.2 调用Search API 查询
- 5.4.3 输出设置
- 5.4.4 任务实现
- 任务5.5 查询评价电影超过50 次的用户
- 5.5.1 度量聚合
- 5.5.2 分组聚合
- 5.5.3 任务实现
- 项目总结
- 实 训
- 实训1 查询手机信息
- 实训2 查询学生成绩信息
- 课后习题
- 拓展阅读
- 项目 ❻ 数据传输工具——Sqoop
- 教学目标
- 项目描述
- 项目实施
- 任务6.1 Sqoop 简介
- 6.1.1 了解Sqoop
- 6.1.2 安装与配置Sqoop
- 6.1.3 了解Sqoop 基本传输命令
- 任务6.2 查询MySQL 用户日志数据表的记录数
- 6.2.1 掌握Sqoop eval 的基本操作
- 6.2.2 任务实现
- 任务6.3 将MySQL 中的用户日志数据增量导入Hive
- 6.3.1 掌握Sqoop import 的基本操作
- 6.3.2 掌握Sqoop job 的基本操作
- 6.3.3 使用Sqoop 将MySQL 中的数据导入Hive
- 6.3.4 任务实现
- 任务6.4 导出Hive 中的筛选结果至MySQL
- 6.4.1 掌握Sqoop export 基本操作
- 6.4.2 使用Sqoop 从Hive 传输数据到MySQL
- 6.4.3 任务实现
- 项目总结
- 实 训
- 实训 传输用户登录数据
- 课后习题
- 拓展阅读
- 项目 ❼ 广电用户数据存储与分析
- 教学目标
- 项目描述
- 项目实施
- 任务7.1 分析需求与架构
- 7.1.1 业务需求分析
- 7.1.2 选择存储与分析技术
- 7.1.3 设计存储与分析架构
- 任务7.2 将CSV 格式数据导入ElasticSearch
- 7.2.1 了解数据
- 7.2.2 将数据导入ElasticSearch
- 任务7.3 转移ElasticSearch 数据至Hive
- 7.3.1 在Hive 中创建数据管理表
- 7.3.2 查看Hive 中的表数据
- 任务7.4 统计各表宣传数据和政企用户记录数
- 7.4.1 统计各表宣传数据记录数
- 7.4.2 统计各表政企用户记录数
- 任务7.5 统计无效收视数据
- 7.5.1 统计用户收视时长分布
- 7.5.2 统计机顶盒待机记录数
- 任务7.6 处理各表无效数据
- 7.6.1 处理无效用户信息
- 7.6.2 处理无效收视数据
- 7.6.3 处理无效账单数据
- 7.6.4 处理无效订单数据
- 任务7.7 计算用户电视消费水平和宽带消费水平
- 7.7.1 计算电视消费水平和宽带消费水平
- 7.7.2 将数据保存至其他数据库
- 项目总结
- 拓展阅读
展开全部
大数据存储是2022年由人民邮电出版社出版,作者谭旭，李程文 主编。
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《大数据存储》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
本书介绍数据存储架构与技术，涵盖了存储盘与存储介质、存储阵列、存储协议、键值存储，文件系统、网络存储体系结构、分布式存储系统、存储可靠性、存储安全、数据保护等基础内容，对存储维护、存储解决方案、存储技术趋势与发展等主题进行了深入讨论，并提供目前新的研究成果作为案例，帮助读者加深对数据存储的理解与运用。本书内容丰富，适合计算机及相关专业高年级本科生或研究生阅读和学习，同时也可供专业技术人员参考。
电子书
本书以广电大数据案例为主线，系统介绍数据仓库Hive存储和初步处理方法的相关知识。本书条理清楚、重点突出，内容循序渐进、由浅入深。本书共8章，包括广电大数据用户画像需求分析、部署开发环境、广电用户数据存储、广电用户基本数据简单查询、广电用户账单与订单数据查询进阶、广电用户收视行为数据查询优化、广电用户数据清洗及数据导出，以及广电用户数据存储与处理的程序开发。本书大部分章包含实训和课后习题，通过练习
电子书
近年来，云计算、物联网、区块链和边缘计算等多种新型应用产生了海量的、有价值的数据，而且呈现出持续增长的趋势。如何有效地存储和管理如此庞大数据是现代工业界和学术界共同关注的重点和难点问题。本书系统地介绍了数据消冗技术，该技术能够通过有效地检测和排除数据中的冗余部分，达到减轻存储系统的负担和降低成本的目标，从而应对海量数据增长带来的挑战。本书结合作者近十余年在与存储系统领域相关的国际学术会议和期刊上发
电子书
本书介绍数据存储架构与技术，涵盖存储盘与存储介质、存储阵列、存储协议、键值存储、文件系统、网络存储体系结构、分布式存储系统、存储可靠性、存储安全、数据保护等基础内容，对存储维护、存储解决方案、存储技术趋势与发展等主题进行了深入讨论，以新的研究成果作为案例，同时提供习题帮助读者加深对数据存储的理解与运用。本书适合计算机及相关专业高年级本科生或研究生阅读、学习，同时也可供相关专业技术人员参考。
电子书
全书共有13章，系统地论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、流计算、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase和MapReduce等重要章节，安排了入门级的实践操作，让读者更好地学习和掌握大数据关键技术。
电子书
随着企业数字化转型不断深化，企业对数据库工程师的需求越来越大。本书结合实际工作场景，将企业数据库运维的相关工作分为10个项目，内容包括了解数据库运维工作，安装和配置MySQL，管理MySQL权限与安全，分析MySQL日志，备份与恢复MySQL，监控、测试并优化MySQL性能，MySQL复制，搭建及运维MySQLCluster，结合Redis的MySQL运维，数据库自动化运维。本书配套教学PPT、题
电子书
随着云计算、大数据等的快速发展，越来越多的组织用信息化手段进行流程管理。如何提升流程执行的智能化程度、动态性和柔性，以提高对非标准业务的管理效率，是流程管理面临的一个重要问题。本书基于流程管理系统积累的日志，提出了3种流程管理的工作流活动推荐方法，分别为基于用户类别近邻的活动推荐方法、基于Pearson相关系数的活动推荐方法和基于协同过滤的活动推荐方法，并介绍了一种流程信息的可视化算法，实现了一个
