本书在介绍大数据发展背景、特点及主要技术层面的基础上，对大数据的数据采集、数据存储、常见计算模式和典型系统工具进行了分析介绍。本书同时对各种典型系统工具进行了讲解，包括大数据查...
电子书
内容简介
本书教学设计遵循教学规律，对真实项目进行了科学拆分与提炼。主要内容分为Hadoop大数据技术基础与Hadoop大数据分析案例两部分，前者包括大数据的有关概念、Hadoop概述、Hadoop集群的部署与管理、HDFS、MapReduce编程以及Hadoop生态的其他常用组件ZooKeeper、HBase、Hive、Sqoop、Flume、Storm、Kafka的工作原理、安装部署和使用方法，后者通过“基于云虚拟实训平台的学情分析系统”项目完整展示了大数据分析的过程。 全书遵循“理论够用、实用，实践第一”的原则选择内容，编排合理，表述深入浅出，所有操作命令全部按序列出，并配有解释和运行截图，指导性、实用性强，能使读者快速、轻松地掌握Hadoop大数据平台运维和分析的基本技术。 本书适合作为高等职业院校电子信息大类各专业学习Hadoop大数据技术的教材，也可作为培训学校的培训教材，还可作为大数据爱好者的自学用书。
章节目录
- 封面
- 书名页
- 版权页
- 前言
- 目录
- 单元1 大数据概述
- 1.1 大数据的产生
- 1.1.1 大数据产生的原因
- 1.1.2 大数据的发展历程
- 1.2 大数据的概念
- 1.2.1 大数据的定义
- 1.2.2 大数据的特征
- 1.2.3 大数据的构成
- 1.2.4 大数据的意义
- 1.3 大数据的基本处理流程
- 1.4 大数据技术
- 1.4.1 大数据的技术层面
- 1.4.2 大数据的计算模式
- 1.4.3 大数据的技术路线
- 1.4.4 大数据技术的应用
- 1.5 大数据与云计算、物联网的关系
- 1.5.1 云计算
- 1.5.2 物联网
- 1.5.3 大数据与云计算、物联网的关系
- 习题
- 单元2 Hadoop概述
- 2.1 Hadoop简介
- 2.1.1 Hadoop的起源及发展历史
- 2.1.2 Hadoop的设计思想和特性
- 2.1.3 Hadoop的体系结构
- 2.1.4 Hadoop的生态系统
- 2.1.5 Hadoop的发行版本
- 2.1.6 Apache Hadoop的下载
- 2.2 Hadoop系列实验前的准备工作
- 2.2.1 计算机软硬件基本配置要求
- 2.2.2 大数据实验软件包介绍
- 2.2.3 检查实验机是否支持虚拟化
- 2.2.4 检查在BIOS中是否已打开VT-x
- 功能
- 习题
- 单元3 VMware和CentOS的安装
- 3.1 安装VMware Workstation
- 3.1.1 VMware虚拟机简介
- 3.1.2 安装VMware虚拟机
- 3.2 创建虚拟机Master
- 3.3 安装CentOS
- 3.4 克隆虚拟机Slave
- 3.5 上传Hadoop实验软件包到Linux系统中
- 3.6 常用的Linux操作系统命令和文本编辑器vi
- 3.6.1 Linux操作系统常用命令
- 3.6.2 文本编辑器vi
- 习题
- 单元4 Hadoop集群的部署与管理
- 4.1 Hadoop的运行模式
- 4.1.1 计算机集群
- 4.1.2 Hadoop的运行模式
- 4.2 配置Linux系统
- 4.2.1 说明
- 4.2.2 配置时钟同步
- 4.2.3 配置主机名
- 4.2.4 配置网络环境
- 4.2.5 关闭防火墙
- 4.2.6 配置hosts列表
- 4.2.7 安装JDK
- 4.2.8 配置免密钥登录
- 4.3 配置Hadoop
- 4.3.1 解压Hadoop安装包
- 4.3.2 在Master节点修改Hadoop配置文件
- 4.3.3 在Master节点上配置Hadoop的系统环境变量
- 4.3.4 将已经配置好的Hadoop复制到其他节点上
- 4.3.5 创建数据目录
- 4.4 启动Hadoop集群
- 4.4.1 格式化文件系统
- 4.4.2 启动Hadoop集群
- 4.5 测试Hadoop集群
- 4.6 监控Hadoop集群
- 4.6.1 监控HDFS
- 4.6.2 监控Yarn
- 4.7 停止Hadoop集群
- 4.8 动态管理节点
- 4.8.1 增加节点
- 4.8.2 删除节点
- 4.9 Hadoop的命令
- 习题
- 单元5 Hadoop分布式文件系统HDFS
- 5.1 HDFS概述
- 5.1.1 HDFS简介
- 5.1.2 HDFS的体系结构
- 5.1.3 HDFS的概念
- 5.1.4 HDFS的存储原理
- 5.1.5 HDFS文件的读写过程
- 5.1.6 HDFS高可用性
- 5.2 用命令方式实现HDFS常用操作
- 5.2.1 HDFS的基本命令
- 5.2.2 HDFS文件系统的操作
- 5.3 安装与配置Eclipse集成开发环境
- 5.3.1 Eclipse开发环境介绍
- 5.3.2 Eclipse的安装和配置
- 5.4 编程实现HDFS常用操作
- 5.4.1 HDFS Java API简介
- 5.4.2 HDFS Java API的一般用法
- 5.4.3 HDFS Java API的编程实践
- 习题
- 单元6 MapReduce
- 6.1 MapReduce概述
- 6.1.1 MapReduce的设计思想
- 6.1.2 MapReduce的体系结构
- 6.1.3 MapReduce的工作过程
- 6.1.4 MapReduce的工作过程示例——词频统计
- 6.2 YARN概述
- 6.2.1 YARN的设计思想
- 6.2.2 YARN的体系结构
- 6.2.3 YARN的工作流程
- 6.3 在集群中运行MapReduce任务
- 6.3.1 Hadoop官方示例包中的测试程序
- 6.3.2 提交MapReduce任务给集群运行
- 6.4 在Eclipse中配置MapReduce环境
- 6.5 编写MapReduce词频统计程序
- 6.5.1 MapReduce编程步骤
- 6.5.2 编写MapReduce词频统计程序
- 6.5.3 打包提交代码运行
- 习题
- 单元7 分布式协调服务器ZooKeeper
- 7.1 ZooKeeper概述
- 7.1.1 ZooKeeper简介
- 7.1.2 ZooKeeper的体系结构
- 7.1.3 ZooKeeper的数据模型
- 7.1.4 ZooKeeper的工作原理
- 7.2 ZooKeeper集群安装部署
- 7.2.1 在Master节点上安装ZooKeeper
- 7.2.2 配置ZooKeeper属性文件
- 7.2.3 将Master节点上的ZooKeeper安装文件复制到Slave节点和Slave2节点上
- 7.2.4 启动ZooKeeper集群
- 7.2.5 测试ZooKeeper集群
- 7.3 ZooKeeper的简单操作
- 7.3.1 使用zkServer.sh脚本进行的操作
- 7.3.2 ZooKeeper的常用Shell命令
- 习题
- 单元8 分布式数据库HBase
- 8.1 HBase概述
- 8.1.1 HBase简介
- 8.1.2 HBase的数据模型
- 8.1.3 HBase的物理存储
- 8.1.4 HBase的体系结构
- 8.1.5 HBase的工作原理
- 8.2 HBase集群的安装部署
- 8.2.1 在Master节点上安装HBase
- 8.2.2 在Master节点上配置HBase
- 8.2.3 将HBase安装文件复制到Slave和Slave2节点上
- 8.2.4 启动HBase
- 8.2.5 验证HBase
- 8.2.6 停止HBase
- 8.3 常用的HBase Shell命令
- 习题
- 单元9 数据仓库Hive
- 9.1 Hive概述
- 9.1.1 数据仓库简介
- 9.1.2 Hive简介
- 9.1.3 Hive的体系结构
- 9.1.4 Hive的工作原理
- 9.1.5 Hive的数据类型与存储格式
- 9.1.6 Hive的数据模型
- 9.2 Hive的安装部署
- 9.2.1 安装Hive
- 9.2.2 安装配置MySQL
- 9.2.3 配置Hive
- 9.2.4 启动Hive安装
- 9.3 Hive Shell操作
- 9.4 Hive数据导入的实例
- 习题
- 单元10 Sqoop的安装和使用
- 10.1 Sqoop概述
- 10.1.1 Sqoop简介
- 10.1.2 Sqoop的工作原理
- 10.2 Sqoop的安装、配置和运行
- 10.2.1 安装Sqoop
- 10.2.2 配置MySQL连接器
- 10.2.3 配置环境变量
- 10.2.4 启动并验证Sqoop
- 10.3 Sqoop的应用
- 10.3.1 从MySQL数据库导入数据到HDFS中
- 10.3.2 从Hive或HDFS中导出数据到MySQL数据库
- 10.3.3 脚本打包
- 习题
- 单元11 Flume
- 11.1 Flume概述
- 11.1.1 Flume简介
- 11.1.2 Flume的工作原理
- 11.2 Flume的安装配置
- 11.2.1 下载安装包并解压
- 11.2.2 配置环境变量
- 11.2.3 配置?ume-env.sh文件
- 11.2.4 验证?ume
- 11.3 Flume的常用操作命令
- 11.4 Flume的应用
- 11.4.1 Flume的配置和运行
- 11.4.2 Flume的简单实例
- 习题
- 单元12 流计算框架Storm
- 12.1 Storm概述
- 12.1.1 Storm简介
- 12.1.2 Storm的工作原理
- 12.1.3 Storm的数据模型
- 12.2 Storm集群的搭建
- 12.2.1 在Master节点上安装Storm
- 12.2.2 将Storm安装文件复制到Slave、Slave2、Slave3节点
- 12.2.3 启动Storm集群
- 12.2.4 测试Storm集群
- 12.3 向Storm集群提交任务
- 习题
- 单元13 Kafka
- 13.1 Kafka概述
- 13.1.1 Kafka简介
- 13.1.2 Kafka的体系结构
- 13.1.3 Kafka的工作原理
- 13.1.4 Kafka使用场景
- 13.2 安装配置和使用Kafka
- 13.2.1 安装Kafka
- 13.2.2 配置Kafka
- 13.2.3 启动并使用Kafka
- 习题
- 单元14 基于云虚拟实训平台的学情分析系统
- 14.1 项目简介
- 14.1.1 唯众云虚拟实训平台介绍
- 14.1.2 学情分析系统需求分析
- 14.1.3 学情分析系统数据库设计
- 14.2 获取云虚拟平台日志内容
- 14.2.1 使用爬虫获取数据
- 14.2.2 将抓取的数据上传到HDFS
- 14.2.3 使用MapReduce对数据进行清洗
- 14.3 创建封装数据的javaBean
- 14.3.1 LoginLogBean.java(登录日志）
- 14.3.2 OperationLogBean.java(操作日志信息）
- 14.4 数据清洗
- 14.4.1 数据标记与封装(LoginLogParse.java)
- 14.4.2 数据标记与封装(OperationLogParse.java)
- 14.4.3 数据清洗与输出——登录日志(LoginLogProcess.java)
- 14.4.4 数据清洗与输出——操作日志(OperationLogProcess.java)
- 14.5 对结果进行分析及可视化
- 14.5.1 ECharts介绍
- 14.5.2 对清洗后的数据分析
- 14.5.3 使用ECharts展示
- 参考文献
- 书脊
- 封底
展开全部
大数据技术与应用是2019年由中国铁道出版社出版,作者胡大威,孙琳。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《大数据技术与应用》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
本书在介绍大数据发展背景、特点及主要技术层面的基础上，对大数据的数据采集、数据存储、常见计算模式和典型系统工具进行了分析介绍。本书同时对各种典型系统工具进行了讲解，包括大数据查...
电子书
本书以大数据发展历史、特征、发展趋势为切入点，分析各领域面临的大数据安全威胁和需求，归纳总结大数据安全的科学内涵和技术研究方向。在此基础上，引出大数据安全的关键技术和应用实践。...
电子书
本书共11章，主要内容包括云计算与大数据概述、相关技术、虚拟化技术、集群系统基础、MPI、Hadoop、Spark、Storm、数据中心技术和云计算大数据仿真技术、云计算数据存...
电子书
本书以基本概念与实例相结合的方法，由浅入深、顺序渐进的对大数据思维、技术和应用做了全面系统的介绍。全书共12章，分为大数据基础篇、大数据存储篇、大数据处理篇、大数据挖掘篇和大数...
电子书
MySQL是目前最流行的关系数据库管理系统之一。本书以MySQL5.6数据库管理系统为平台，以案例教学法为编写主线，介绍了数据库系统的基本概念和应用技术。本书以学生选课管理系统...
电子书
本书通过大量的例题，讲解了Access数据库技术的相关知识以及使用Access2010开发数据库应用系统的完整过程。全书共分9章，主要内容包括数据库系统的基础知识、数据库操作、...