编辑推荐
全面介绍Alluxio技术原理与实践案例的国内首本技术书籍。
内容简介
分布式文件系统处于大数据系统中基础地位,在行业大数据应用中发挥着重要作用。Alluxio是全球第一个以内存为中心(memory-centric)的分布式虚拟文件系统,最初诞生于加州大学伯克利分校的AMPLab,是目前大数据生态系统中发展最快的开源社区之一,拥有来自全球200多个组织的900多名开发人员。Alluxio已在全球数百个企事业单位部署应用,并在超过1000个节点的集群上运行。Alluxio提供一个由软件实现的统一化虚拟数据存储层,帮助计算框架无缝对接到底层异构的物理存储系统,为上层大数据计算框架带来显著性能提升。本书以广泛使用的Alluxio 1.8.1版本为基础见编写,是一本全面介绍Alluxio相关技术原理与实践案例的书籍,是国内首本深入介绍Alluxio核心原理和架构的技术书籍。主要内容包括Alluxio系统快速入门,系统架构及读写工作机制、Alluxio与底层存储系统的集成、Alluxio与上层计算框架的集成、Alluxio的基本功能介绍与使用、Alluxio的高级功能介绍与使用;同时也详细介绍了Alluxio在大型企业的经典应用案例与生产实践,以及Alluxio的开源社区开发者指南。本书从概念和原理上对Alluxio的核心框架和相关技术应用进行了详细的解读,并对向开源社区贡献源码进行了简要介绍,旨在为大数据从业人员和大数据存储技术爱好者提供一个深入学习的平台。
作者简介
作者顾荣,南京大学计算机科学与技术系助理研究员,Alluxio项目管理委员会成员和源码维护者;于2016年获得南京大学计算机专业博士学位,主要研究领域为大数据处理技术与系统;在国际期刊、会议发表论文30余篇,包括IEEE TPDS、IEEE ICDE、IEEE IPDPS、JPDC、Parallel Computing、ICPP等;拥有多项发明专利;部分研究成果已在英特尔、百度、华泰证券、苏宁易购、华为、字节跳动等公司落地使用,或被主流开源大数据系统Apache Spark和Alluxio官方版本集成发布;担任多种学术期刊审稿人,以及江苏省计算机学会大数据专委会秘书长、中国计算机学会系统软件专委会委员。
章节目录
版权信息
推荐序一
推荐序二
前言
第1章 Alluxio系统快速入门
1.1 Alluxio背景概述
1.2 获取/编译Alluxio软件
1.3 Alluxio的搭建部署及程序运行
第2章 Alluxio系统架构及读写工作机制
2.1 Alluxio的构架简介与基本特征
2.2 Alluxio的系统功能组件
2.3 Alluxio读写场景的行为分析
第3章 Alluxio与底层存储系统的集成
3.1 配置HDFS作为Alluxio底层存储
3.2 配置Secure HDFS作为Alluxio底层存储
3.3 配置AWS S3作为Alluxio底层存储
3.4 配置Google GCS作为Alluxio底层存储
3.5 配置Azure BLOB Store作为Alluxio底层存储系统
第4章 Alluxio与上层计算框架的集成
4.1 Alluxio的管理员操作命令
4.2 Alluxio的用户操作命令
4.3 Alluxio与Hadoop操作命令行的集成
4.4 Alluxio与Hadoop MapReduce的集成
4.5 Alluxio与Spark的集成
4.6 Alluxio与Hive的集成
4.7 Alluxio与Presto的集成
4.8 Alluxio与TensorFlow的集成
第5章 Alluxio基本功能的介绍与使用
5.1 Alluxio系统环境与属性的配置
5.2 Alluxio底层文件系统的配置与管理
5.3 Alluxio缓存资源的配置与管理
5.4 Alluxio系统Web用户界面的查看与使用
第6章 Alluxio高级功能的介绍与使用
6.1 Alluxio的安全认证与权限控制
6.2 Alluxio的内置Metrics系统
6.3 Alluxio文件系统日志的使用与维护
6.4 Alluxio系统的异常排查
第7章 Alluxio的应用案例与生产实践
7.1 陌陌基于Alluxio加速Spark SQL查询
7.2 京东基于Alluxio和Presto构建交互式查询引擎
7.3 Alluxio在携程实时计算平台中的应用与实践
7.4 去哪儿网利用Alluxio提升异地存储访问性能
7.5 百度基于Alluxio加速远程数据读取
第8章 Alluxio的开源社区开发者指南
8.1 Alluxio的源代码规范
8.2 Alluxio的单元测试流程介绍
8.3 贡献源代码至Alluxio开源社区
Alluxio:大数据统一存储原理与实践是2019年由电子工业出版社出版,作者顾荣。
得书感谢您对《Alluxio:大数据统一存储原理与实践》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。