深度剖析Hadoop HDFS

深度剖析Hadoop HDFS

查阅电子书
手机扫码
  • 微信扫一扫

    关注微信公众号

因版权原因待上架

编辑推荐

基于Hadoop 2.7.1版本进行分析,全面描述了HDFS 2.X的核心技术与解决方案。

内容简介

书中描述了HDFS内存存储、异构存储等几大核心设计,包括源码细节层面的分析,对于HDFS中比较特殊的几个场景过程也做了细粒度的分析。还分享了作者在实际应用中的解决方案及扩展思路。阅读本书可以帮助读者从架构设计与功能实现角度了解HDFS 2.X,同时还能学习HDFS 2.X框架中优秀的设计思想、设计模式、Java语言技巧等。这些对于读者全面提高自己分布式技术水平有很大的帮助。

作者简介

作者林意群,唯品会上海研发中心数据应用部研发工程师,Apache Hadoop Committer,主要专注于HDFS模块的研究。对大数据处理、分布式计算兴趣浓厚,在实际工作中努力钻研,分享了大量技术文章,贡献了很多实践经验。

章节目录

版权信息

前言

第一部分 核心设计篇

第1章 HDFS的数据存储

1.1 HDFS内存存储

1.2 HDFS异构存储

1.3 小结

第2章 HDFS的数据管理与策略选择

2.1 HDFS缓存与缓存块

2.2 HDFS中心缓存管理

2.3 HDFS快照管理

2.4 HDFS副本放置策略

2.5 HDFS内部的认证机制

2.6 HDFS内部的磁盘目录服务

2.7 小结

第3章 HDFS的新颖功能特性

3.1 HDFS视图文件系统:ViewFileSystem

3.2 HDFS的Web文件系统:WebHdfsFileSystem

3.3 HDFS数据加密空间:Encryption zone

3.4 HDFS纠删码技术

3.5 HDFS对象存储:Ozone

3.6 小结

第二部分 细节实现篇

第4章 HDFS的块处理

4.1 HDFS块检查命令fsck

4.2 HDFS如何检测并删除多余副本块

4.3 HDFS数据块的汇报与处理

4.4 小结

第5章 HDFS的流量处理

5.1 HDFS的内部限流

5.2 数据平衡

5.3 HDFS节点内数据平衡

5.4 小结

第6章 HDFS的部分结构分析

6.1 HDFS镜像文件的解析与反解析

6.2 DataNode数据处理中心DataXceiver

6.3 HDFS邻近信息块:BlockInfoContiguous

6.4 小结

第三部分 解决方案篇

第7章 HDFS的数据管理

7.1 HDFS的读写限流方案

7.2 HDFS数据资源使用量分析以及趋势预测

7.3 HDFS数据迁移解决方案

7.4 DataNode迁移方案

7.5 HDFS集群重命名方案

7.6 HDFS的配置管理方案

7.7 小结

第8章 HDFS的数据读写

8.1 DataNode引用计数磁盘选择策略

8.2 Hadoop节点“慢磁盘”监控

8.3 小结

第9章 HDFS的异常场景

9.1 DataNode慢启动问题

9.2 Hadoop中止下线操作后大量剩余复制块问题

9.3 DFSOutputStream的DataStreamer线程泄漏问题

9.4 小结

附录 如何向开源社区提交自己的代码

深度剖析Hadoop HDFS是2017年由机械工业出版社华章分社出版,作者林意群。

得书感谢您对《深度剖析Hadoop HDFS》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。

购买这本书

你可能喜欢
深入理解Zabbix监控系统 电子书
本书深入剖析Zabbix监控系统源码及功能,助力理解核心原理,提供二次开发参考。
Kafka权威指南(第2版) 电子书
本书介绍Kafka的技术原理和应用技巧。
实战大数据(Hadoop+Spark+Flink)从平台构建到交互式数据分析(离线/实时) 电子书
面向大数据开发工程师,大数据运维工程师围绕Hadoop、Spark、Flink三大主流平台,详解大数据平台的搭建及数据分析(离线/实时)随书配备全套数据集、安装包、配置文件、海量教学视频(近30GB),方便学用
图数据库实战 电子书
图数据库入门教程书籍,采用Gremlin语言,完整展示图应用程序的构建过程,从入门到实践学习图数据库。
微服务架构实战——基于Spring Boot、Spring Cloud、Docker 电子书
1.通过Spring Boot、Spring Cloud、Docker等技术构建微服务体系。 2.精简而完整的案例分析展示实现微服务架构的完整蓝图。 3.结合业务场景,通过全面案例给出工具在构建微服务架构中的工程实战。 4.作者有近10年软件行业从业经验,主持和参与过多个大型企业级应用和移动互联网系统的开发和管理工作,北风网特邀讲师,讲授系统架构与技术管理相关课程。