编辑推荐
基于Hadoop 2.7.1版本进行分析,全面描述了HDFS 2.X的核心技术与解决方案。
内容简介
书中描述了HDFS内存存储、异构存储等几大核心设计,包括源码细节层面的分析,对于HDFS中比较特殊的几个场景过程也做了细粒度的分析。还分享了作者在实际应用中的解决方案及扩展思路。阅读本书可以帮助读者从架构设计与功能实现角度了解HDFS 2.X,同时还能学习HDFS 2.X框架中优秀的设计思想、设计模式、Java语言技巧等。这些对于读者全面提高自己分布式技术水平有很大的帮助。
作者简介
作者林意群,唯品会上海研发中心数据应用部研发工程师,Apache Hadoop Committer,主要专注于HDFS模块的研究。对大数据处理、分布式计算兴趣浓厚,在实际工作中努力钻研,分享了大量技术文章,贡献了很多实践经验。
章节目录
版权信息
前言
第一部分 核心设计篇
第1章 HDFS的数据存储
1.1 HDFS内存存储
1.2 HDFS异构存储
1.3 小结
第2章 HDFS的数据管理与策略选择
2.1 HDFS缓存与缓存块
2.2 HDFS中心缓存管理
2.3 HDFS快照管理
2.4 HDFS副本放置策略
2.5 HDFS内部的认证机制
2.6 HDFS内部的磁盘目录服务
2.7 小结
第3章 HDFS的新颖功能特性
3.1 HDFS视图文件系统:ViewFileSystem
3.2 HDFS的Web文件系统:WebHdfsFileSystem
3.3 HDFS数据加密空间:Encryption zone
3.4 HDFS纠删码技术
3.5 HDFS对象存储:Ozone
3.6 小结
第二部分 细节实现篇
第4章 HDFS的块处理
4.1 HDFS块检查命令fsck
4.2 HDFS如何检测并删除多余副本块
4.3 HDFS数据块的汇报与处理
4.4 小结
第5章 HDFS的流量处理
5.1 HDFS的内部限流
5.2 数据平衡
5.3 HDFS节点内数据平衡
5.4 小结
第6章 HDFS的部分结构分析
6.1 HDFS镜像文件的解析与反解析
6.2 DataNode数据处理中心DataXceiver
6.3 HDFS邻近信息块:BlockInfoContiguous
6.4 小结
第三部分 解决方案篇
第7章 HDFS的数据管理
7.1 HDFS的读写限流方案
7.2 HDFS数据资源使用量分析以及趋势预测
7.3 HDFS数据迁移解决方案
7.4 DataNode迁移方案
7.5 HDFS集群重命名方案
7.6 HDFS的配置管理方案
7.7 小结
第8章 HDFS的数据读写
8.1 DataNode引用计数磁盘选择策略
8.2 Hadoop节点“慢磁盘”监控
8.3 小结
第9章 HDFS的异常场景
9.1 DataNode慢启动问题
9.2 Hadoop中止下线操作后大量剩余复制块问题
9.3 DFSOutputStream的DataStreamer线程泄漏问题
9.4 小结
附录 如何向开源社区提交自己的代码
深度剖析Hadoop HDFS是2017年由机械工业出版社华章分社出版,作者林意群。
得书感谢您对《深度剖析Hadoop HDFS》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。