大数据处理之道

大数据处理之道

查阅电子书
手机扫码
  • 微信扫一扫

    关注微信公众号

因版权原因待上架

编辑推荐

覆盖当前大数据处理领域的热门技术,详细分析了各种技术的应用场景和优缺点。

内容简介

本书阐述了大数据下的日志分析系统,重点讲解了ELK日志处理方案;最后分析了大数据处理技术的发展趋势。

本书适合大数据开发、大数据测试人员,以及其他软件开发或者管理人员和计算爱好者阅读。

作者简介

作者何金池,IBM高级软件工程师,硕士毕业于西安邮电大学,主要从事高性能计算和大数据领域研发工作,熟悉目前大数据处理领域的各项热门技术。

章节目录

版权信息

内容简介

前言

0 “疯狂”的大数据

0.1 大数据时代

0.2 数据就是“金库”

0.3 让大数据“活”起来

第1篇 Hadoop军营

1 Hadoop一石激起千层浪

1.1 Hadoop诞生

1.2 Hadoop发展

1.3 Hadoop和它的小伙伴们

1.4 Hadoop应用场景

1.5 小结

2 MapReduce奠定基石

2.1 MapReduce设计思想

2.2 MapReduce运行机制

2.3 MapReduce实例分析

2.4 小结

3 分布式文件系统

3.1 群雄并起的DFS

3.2 HDFS文件系统

3.3 小结

4 Hadoop体系的“四剑客”

4.1 数据仓库工具Hive

4.2 大数据仓库HBase

4.3 Pig编程语言

4.4 协管员ZooKeeper

4.5 小结

5 Hadoop资源管理与调度

5.1 Hadoop调度机制

5.2 Hadoop YARN资源调度

5.3 Apache Mesos资源调度

5.4 Mesos与YARN对比

5.5 小结

6 Hadoop集群管理之道

6.1 Hadoop集群管理与维护

6.2 Hadoop集群调优

6.3 Hadoop集群监控

6.4 小结

第2篇 Spark星火燎原

7 Spark宝刀出鞘

7.1 Spark的历史渊源

7.2 Spark和Hadoop MapReduce对比

7.3 Spark的适用场景

7.4 Spark的硬件配置

7.5 Spark架构

7.6 小结

8 Spark核心RDD

8.1 RDD简介

8.2 RDD的存储级别

8.3 RDD依赖与容错

8.4 RDD操作与接口

8.5 RDD编程示例

8.6 小结

9 Spark运行模式和流程

9.1 Spark运行模式

9.2 Spark作业流程

9.3 小结

10 Shark和Spark SQL

10.1 从Shark到Spark SQL

10.2 Spark SQL应用架构

10.3 Spark SQL之DataFrame

10.4 Spark SQL运行过程分析

10.5 小结

11 Spark Streaming流数据处理新贵

11.1 Spark Streaming是什么

11.2 Spark Streaming的架构

11.3 Spark Streaming的操作

11.4 Spark Streaming性能调优

11.5 小结

12 Spark GraphX图计算系统

12.1 图计算系统

12.2 Spark GraphX的框架

12.3 Spark GraphX的存储模式

12.4 Spark GraphX的图运算符

12.5 小结

13 Spark Cluster管理

13.1 Spark Cluster部署

13.2 Spark Cluster管理与监控

13.3 Spark高可用性

13.4 小结

第3篇 其他大数据处理技术

14 专为流数据而生的Storm

14.1 Storm起因

14.2 Storm的架构与组件

14.3 Storm的设计思想

14.4 Storm与Spark的区别

14.5 Storm的适用场景

14.6 Storm的应用

14.7 小结

15 Dremel和Drill

15.1 Dremel和Drill的历史背景

15.2 Dremel的原理与应用

15.3 Drill的架构与流程

15.4 Dremel和Drill的适用场景与应用

15.5 小结

第4篇 大数据下的日志分析系统

16 日志分析解决方案

16.1 百花齐放的日志处理技术

16.2 日志处理方案ELK

16.3 Logstash日志收集解析

16.4 ElasticSearch存储与搜索

16.5 Kibana展示

16.6 小结

17 ELK集群部署与应用

17.1 ELK集群部署与优化

17.2 如何开发自己的插件

17.3 ELK在大数据运维系统中的应用

17.4 ELK实战应用

17.5 小结

第5篇 数据分析技术前景展望

18 大数据处理的思考与展望

18.1 大数据时代的思考

18.2 大数据处理技术的发展趋势

18.3 小结

大数据处理之道是2016年由电子工业出版社出版,作者何金池。

得书感谢您对《大数据处理之道》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。

购买这本书

你可能喜欢
Python数据处理与挖掘 电子书
本书以构建完整的知识体系为目标,按照从简单到复杂的思路,贯穿了数据处理与挖掘的各个环节,具体包括:Python快速入门、Python数据类型、Python常用模块、Python数据获取、Python数据挖掘基础、Python数据挖掘算法、Python大数据挖掘和Python数据可视化。此外,针对各知识点,全书均设计了相应的Python案例,并给出了实现代码、效果图以及相应的解释,以强化读者对各知识
江湖之道 电子书
本书旨在突破著作在研究上的局限,以商法学的知识体系为参照,从宏观上全面介绍并比较长江流域个各同区域的商事习惯法,尽可能发掘出适用于长江流域大部分地区的具有共同性的典型性商事习惯法。
商标之道 电子书
这是一本唤醒创业者和企业家商标意识、品牌保护意识的图书,让更多创业者和企业家懂得如何保护自己的品牌权益,并懂得挖掘商标和品牌的价值。《商标之道》分为上下两篇,上篇讲述了“商标先生”方强的个人商标经历,下篇主要解析了两大经典商标案例和常见的十大商标问题。全书深入浅出,通俗易懂,讲解大量的商标案例、商标品牌故事、商标常识、商标申请实操等,是创业者和企业家保护自己品牌的一本必备图书。
大学之道 电子书
本书共五篇,内容包括:从中国传统文化中汲取大学发展的养分、人与人才的再认识、大学之道、大学文化、创建世界一流大学的战略性机遇。
Python大数据处理与分析 电子书
本书介绍利用Python进行大数据处理与分析的详细方法和步骤。全书共9章,主要内容包括搭建开发环境、Numpy库、Pandas库、Matplotlib库、数据预处理以及多个案例分析。