本书介绍数据存储架构与技术，涵盖了存储盘与存储介质、存储阵列、存储协议、键值存储，文件系统、网络存储体系结构、分布式存储系统、存储可靠性、存储安全、数据保护等基础内容，对存储维护、存储解决方案、存储技术趋势与发展等主题进行了深入讨论，并提供目前新的研究成果作为案例，帮助读者加深对数据存储的理解与运用。本书内容丰富，适合计算机及相关专业高年级本科生或研究生阅读和学习，同时也可供专业技术人员参考。
电子书
内容简介
本书以广电大数据案例为主线，系统介绍数据仓库Hive存储和初步处理方法的相关知识。本书条理清楚、重点突出，内容循序渐进、由浅入深。本书共8章，包括广电大数据用户画像需求分析、部署开发环境、广电用户数据存储、广电用户基本数据简单查询、广电用户账单与订单数据查询进阶、广电用户收视行为数据查询优化、广电用户数据清洗及数据导出，以及广电用户数据存储与处理的程序开发。本书大部分章包含实训和课后习题，通过练习和操作实践，帮助读者巩固所学的内容。
本书可以作为高等院校数据科学或大数据相关专业的教材，也可以作为大数据爱好者的自学用书。
章节目录
- 封面
- 扉页
- 版权信息
- 内容提要
- 大数据技术精品系列教材专家委员会
- 序
- 前言
- 第1章 广电大数据用户画像需求分析
- 任务1.1 需求分析与架构
- 1.1.1 业务需求分析
- 1.1.2 大数据存储技术架构
- 任务1.2 认识Hive
- 1.2.1 Hive简介
- 1.2.2 Hive的架构
- 1.2.3 Hive设计特性
- 小结
- 课后习题
- 第2章 部署开发环境
- 任务2.1 安装部署Hadoop集群
- 2.1.1 VMware虚拟机安装和网络设置
- 2.1.2 部署CentOS
- 2.1.3 Hadoop集群部署前准备
- 2.1.4 Hadoop集群部署
- 任务2.2 安装部署Hive
- 2.2.1 安装配置MySQL
- 2.2.2 安装配置Hive
- 任务2.3 使用Hive CLI
- 2.3.1 启动Hive CLI
- 2.3.2 在Hive中执行Bash Shell和Hadoop dfs命令
- 2.3.3 在Shell中执行Hive查询
- 小结
- 课后习题
- 第3章 广电用户数据存储
- 任务3.1 创建业务数据表
- 3.1.1 操作Hive数据库
- 3.1.2 了解Hive数据类型
- 3.1.3 创建与管理Hive表
- 3.1.4 任务实现
- 任务3.2 将数据导入Hive表中
- 3.2.1 装载数据至Hive表中
- 3.2.2 任务实现
- 小结
- 实训 创建轮船乘客表并导入数据至表中
- 课后习题
- 第4章 广电用户基本数据简单查询
- 任务4.1 查询广电用户的用户编号及开户时间
- 4.1.1 SELECT语句
- 4.1.2 任务实现
- 任务4.2 查询指定用户状态的用户基本数据
- 4.2.1 使用WHERE关键字添加查询条件
- 4.2.2 使用WHERE关键字添加常见查询条件
- 4.2.3 任务实现
- 任务4.3 统计用户基本数据表中品牌名称的种类数
- 4.3.1 使用DISTINCT关键字去重查询
- 4.3.2 使用聚合函数
- 4.3.3 任务实现
- 任务4.4 统计不同用户等级名称的记录数
- 4.4.1 设置列别名
- 4.4.2 任务实现
- 任务4.5 统计不同用户状态的记录数
- 4.5.1 使用GROUP BY关键字分组查询
- 4.5.2 任务实现
- 任务4.6 统计指定用户数量范围的用户等级
- 4.6.1 使用HAVING关键字对分组结果进行筛选
- 4.6.2 任务实现
- 任务4.7 统计用户数最多的3种用户状态
- 4.7.1 使用LIMIT关键字设置查询结果展示
- 4.7.2 使用排序关键字对查询结果排序
- 4.7.3 任务实现
- 任务4.8 查询用户发生状态变更的时间及开户时间
- 4.8.1 使用正则表达式查询数据
- 4.8.2 任务实现
- 小结
- 实训 查询电商货品订单数据
- 课后习题
- 第5章 广电用户账单与订单数据查询进阶
- 任务5.1 统计订单的消费类型
- 5.1.1 介绍Hive内置函数
- 5.1.2 使用条件函数
- 5.1.3 使用类型转换函数
- 5.1.4 任务实现
- 任务5.2 统计用户每年消费应付总额
- 5.2.1 使用字符函数
- 5.2.2 任务实现
- 任务5.3 统计用户每月消费应付总额
- 5.3.1 使用日期函数
- 5.3.2 任务实现
- 任务5.4 统计用户每月实际账单金额
- 5.4.1 使用数学函数
- 5.4.2 任务实现
- 任务5.5 查询用户宽带订单的地址数据
- 5.5.1 使用JOIN语句
- 5.5.2 介绍UNION ALL关键字
- 5.5.3 任务实现
- 任务5.6 抽样统计用户订购产品情况
- 5.6.1 使用桶表抽样查询
- 5.6.2 任务实现
- 小结
- 实训
- 实训1 查询员工数据
- 实训2 查询学生数据
- 课后习题
- 第6章 广电用户收视行为数据查询优化
- 任务6.1 使用视图统计不同节目的用户观看人数
- 6.1.1 创建视图
- 6.1.2 查看与删除视图
- 6.1.3 任务实现
- 任务6.2 优化统计直播频道数
- 6.2.1 配置Fetch抓取
- 6.2.2 合理设置map和reduce任务数
- 6.2.3 配置并行执行
- 6.2.4 任务实现
- 任务6.3 使用子查询统计节目类型为直播的频道Top10
- 6.3.1 使用子查询优化查询语句
- 6.3.2 优化配置GROUP BY语句
- 6.3.3 使用GROUP BY代替COUNT(DISTINCT)去重统计
- 6.3.4 优化配置LIMIT语句
- 6.3.5 任务实现
- 小结
- 实训
- 实训1 统计某城市各线路公交车的刷卡次数
- 实训2 统计某百货商场会员总消费金额Top10
- 课后习题
- 第7章 广电用户数据清洗及数据导出
- 任务7.1 清洗无效用户数据
- 7.1.1 探索无效用户数据
- 7.1.2 删除无效用户数据
- 任务7.2 清洗无效收视行为数据
- 7.2.1 探索无效收视行为数据
- 7.2.2 删除无效收视行为数据
- 任务7.3 清洗无效账单和订单数据
- 7.3.1 探索无效账单数据
- 7.3.2 探索无效订单数据
- 7.3.3 删除无效账单和无效订单数据
- 任务7.4 导出处理结果至Linux本地和HDFS
- 7.4.1 使用INSERT OVERWRITE语句将数据导出至文件系统
- 7.4.2 保存处理结果至Linux本地和HDFS
- 小结
- 实训
- 实训1 删除无效房价数据
- 实训2 删除恶意好评手机数据并保存结果至Linux本地
- 课后习题
- 第8章 广电用户数据存储与处理的程序开发
- 任务8.1 配置Hive远程服务
- 任务8.2 搭建Hive远程连接环境
- 8.2.1 创建IDEA开发项目
- 8.2.2 添加依赖
- 8.2.3 手动加载MySQL驱动
- 8.2.4 JDBC及其主要接口
- 8.2.5 创建连接测试程序
- 任务8.3 编写程序实现广电数据的存储
- 8.3.1 创建开发项目
- 8.3.2 创建HiveHelper类和连接Hive
- 8.3.3 创建测试类
- 8.3.4 创建Hive数据库
- 8.3.5 创建Hive表
- 8.3.6 装载数据
- 8.3.7 程序运行与调试
- 任务8.4 编写程序实现广电数据的查询与处理
- 8.4.1 查询数据
- 8.4.2 删除无效用户数据
- 8.4.3 删除无效收视行为数据
- 8.4.4 删除无效账单和无效订单数据
- 小结
- 实训
- 实训1 对Hadoop日志进行统计分析
- 实训2 通过程序实现对某技术论坛日志的分析
- 课后习题
展开全部
Hive大数据存储与处理是2024年由人民邮电出版社出版,作者张良均。
温馨提示：
内容发布人：丁编辑、联系电话：17600975489、发布时间：2025-03-08
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Hive大数据存储与处理》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
本书共7个项目，内容包括了解大数据、结构化数据仓库——Hive、列存储数据库——HBase、文档存储数据库——MongoDB、文档存储数据库——ElasticSearch、数据传输工具——Sqoop,以及广电用户数据存储与分析。
电子书
本书是华为ICT学院数据存储技术官方教材，旨在帮助学生学习数据存储技术的基本概念和原理、以及存储系统的搭建和使用。本书从信息传递方式的变迁引出数字化信息管理与存储的概念，进而概述存储系统构成和存储基础技术，再以磁盘阵列技术作为案例来阐述在同一存储设备上获得性能、容量、可用性三方面提升的设计思路；接下来从存储接口、传输协议、关键技术和功能支持等方面来讨论几类存储系统，包括直接连接存储、存储区域网络、
电子书
本书从数据处理平台数据库和数据仓库入手，帮助读者逐步搭建大数据Hive数据仓库平台，并介绍了这种传统数据分析方法在大数据平台成功应用的典型案例。本书通过对Hive数据定义语言、Hive数据操纵语言、Hive数据基本查询、Hive数据复杂查询的详细介绍，全面阐述了Hive大数据平台工具的应用与开发。另外，还介绍了Hive数据库对象、用户自定义函数以及Azkaban工作流作业调度器，帮助读者掌握Hiv
电子书
本书介绍数据存储架构与技术，涵盖存储盘与存储介质、存储阵列、存储协议、键值存储、文件系统、网络存储体系结构、分布式存储系统、存储可靠性、存储安全、数据保护等基础内容，对存储维护、存储解决方案、存储技术趋势与发展等主题进行了深入讨论，以新的研究成果作为案例，同时提供习题帮助读者加深对数据存储的理解与运用。本书适合计算机及相关专业高年级本科生或研究生阅读、学习，同时也可供相关专业技术人员参考。
电子书
本书以任务驱动为主线，围绕企业级应用进行项目任务设计，主要内容包括数据采集与预处理准备、网络爬虫实践、日志数据采集实践和数据预处理实践，全面地讲述了Scrapy、Flume、Pig、Kettle、Pandas、OpenRefine等技术，以及urllib、Selenium基本库和BeautifulSoup解析库的相关知识与应用案例。本书内容实用，可操作性强，语言精练、通俗易懂，可作为高等院校计算机
电子书
本书以项目为导向，由浅入深地介绍Excel2016在数据获取与处理中的应用。全书共14个项目，项目1简单介绍Excel2016的界面，以及工作簿、工作表、单元格的概念；项目2介绍各种类型数据的输入；项目3介绍如何美化工作表；项目4介绍如何使用Excel获取文本数据；项目5介绍如何使用Excel获取网站数据；项目6介绍如何使用Excel获取MySQL数据库中的数据；项目7介绍如何对数据进行排序；项目
电子书
本书共8章，内容包括概述、大数据实验环境搭建、网络数据采集、分布式消息系统Kafka、日志采集系统Flume、数据仓库中的数据集成、ETL工具Kettle、使用pandas进行数据清洗。
