大数据技术入门到商业实战:Hadoop+Spark+Flink全解析

大数据技术入门到商业实战:Hadoop+Spark+Flink全解析

查阅电子书
手机扫码
  • 微信扫一扫

    关注微信公众号

因版权原因待上架

内容简介

  《大数据技术入门到商业实战 Hadoop+Spark+Flink全解析》全面详细地介绍了大数据生态系统中的主流技术。


  《大数据技术入门到商业实战 Hadoop+Spark+Flink全解析》共10章,主要包括大数据生态系统概述、大数据采集技术、大数据存储技术、大数据分析处理技术等内容,书中涵盖了Hadoop、Hive、Hbase、Kafka、Spark、Flink等技术的原理和实践,其中重点介绍了Hadoop技术、Spark技术及Flink技术。


  《大数据技术入门到商业实战 Hadoop+Spark+Flink全解析》详细介绍了主流大数据技术框架的基本原理、环境搭建、操作使用和在典型行业中的具体应用,使读者不仅能够在宏观上全面认知大数据生态系统,而且还能在微观上深入理解大数据技术细节。


  《大数据技术入门到商业实战 Hadoop+Spark+Flink全解析》不仅适合大数据技术初学者阅读,还可以帮助金融、电信、电商、能源、政府部门的大数据应用决策和技术人员,以及IT经理、CTO、CIO等快速学习大数据技术,并能作为大数据相关岗位培训的教程。

章节目录

前言



第1章 初识大数据


1.1 什么是大数据


1.2 大数据行业应用


1.3 什么是Hadoop


1.4 Hadoop产生背景


1.5 Hadoop的架构模块介绍


1.6 Hadoop在大数据、云计算中的位置和关系


1.7 国内外Hadoop应用案例介绍


1.8 Hadoop生态圈以及各组成部分简介


1.9 本章小结



第2章 Hadoop之分布式文件系统HDFS


2.1 构建Hadoop集群


2.1.1 集群简介


2.1.2 Hadoop集群部署


2.2 Hadoop集群启动和停止


2.2.1 Hadoop集群启动


2.2.2 Hadoop集群停止


2.3 HDFS的Shell命令行客户端操作


2.4 HDFS的工作机制


2.4.1 HDFS概述


2.4.2 HDFS的重要特性


2.4.3 HDFS写数据流程


2.4.4 HDFS读数据流程


2.5 NameNode和SecondaryNameNode功能剖析


2.5.1 NameNode与SecondaryNameNode解析


2.5.2 元数据的checkpoint的条件


2.5.3 fsimage与edits详解


2.5.4 fsimage和edits文件信息查看


2.6 DataNode的工作机制及存储


2.6.1 DataNode工作机制


2.6.2 数据完整性保证


2.6.3 DataNode掉线判断时限参数


2.7 HDFS的安全模式


2.8 本章小结



第3章 Hadoop之分布式计算MapReduce


3.1 MapReduce概述


3.1.1 MapReduce介绍


3.1.2 为什么要使用MapReduce


3.2 MapReduce框架结构及核心运行机制


3.3 MapReduce编程规范和示例编写


3.3.1 编程规范


3.3.2 MapReduce编程入门之单词计数


3.4 MapTask数量及切片机制


3.4.1 MapTask个数


3.4.2 如何控制MapTask的个数


3.4.3 Map并行度的经验之谈


3.5 ReduceTask并行度的决定


3.6 MapReduce中的combiner


3.7 MapReduce中的Shuffle


3.7.1 Map端


3.7.2 Reduce端


3.7.3 Shuffle小结


3.8 MapReduce与Yam


3.8.1 Yarn概述


3.8.2 Yarn的重要概念


3.9 MapReduce在Yarn上运行流程


……



第4章 分布式协调服务Zookeeper


第5章 分布式数据库Hbase


第6章 数据仓库Hive


第7章 日志采集框架Flume


第8章 分布式消息系统Kafka


第9章 Spark内存计算框架


第10章 Flink实时流处理

大数据技术入门到商业实战:Hadoop+Spark+Flink全解析是2021年由机械工业出版社出版,作者李伟杰,王超,李沙,等。

得书感谢您对《大数据技术入门到商业实战:Hadoop+Spark+Flink全解析》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。

购买这本书

你可能喜欢
AutoCAD 2020实战从入门到精通 电子书
本书分为4篇,共14章,由400个实战案例组成。第1篇为基础篇,内容包括AutoCAD2020的基础知识与参数设置,以及文件管理、图形的绘制与编辑等;第2篇为进阶篇,内容包括图形的标注、文字与表格的创建、图块与参照、图层的创建与管理、图形约束与信息查询、文件的打印与输出等;第3篇为三维篇,介绍了三维模型的创建、三维模型的编辑等内容;第4篇为应用篇,主要从机械设计、室内设计、建筑设计3个方面来详细解
GitLab CI/CD 从入门到实战 电子书
本书主要介绍GitLabCI/CD的相关内容。首先介绍GitLabCI/CD的基础知识,包括CI/CD的几个基本概念(pipeline、stages、job、GitLabRunner和.gitlab-ci.yml文件);然后介绍GitLabCI/CD的35个关键词、每个关键词的语法及其使用场景,并给出一些示例;最后介绍CI/CD的实践,通过3种不同的项目详细讲解各种部署方式,包括微服务架构项目流水
Photoshop CC 2019实战从入门到精通 电子书
初学者快速自学Photoshop CC 2019的高效教程。
Web全栈项目开发入门与实战 电子书
本书共26章,围绕着企业项目开发基本流程来设计,分为项目概述、前端开发和后端开发三个部分。项目概述部分一共有4章。第1章是项目需求设计,主要介绍该项目的项目背景和项目内容。第2章是业务模块介绍,围绕着项目内容展开介绍项目核心业务模块。第3章是业务流程图。通过office自带的Visio工具将各大业务流程以流程图的形式呈现。第4章是项目开发周期,介绍开发本项目需要花费的时间周期。前端开发部分一共有1
新媒体平台运营实战从入门到精通 电子书
本书结构清晰,内容精炼,适合从事企业营销和新媒体营销的人员使用,可作为院校市场营销类、企业管理类、商务贸易类专业的课程教材。