Alluxio:大数据统一存储原理与实践

Alluxio:大数据统一存储原理与实践

查阅电子书
手机扫码
  • 微信扫一扫

    关注微信公众号

因版权原因待上架

编辑推荐

全面介绍Alluxio技术原理与实践案例的国内首本技术书籍。

内容简介

分布式文件系统处于大数据系统中基础地位,在行业大数据应用中发挥着重要作用。Alluxio是全球第一个以内存为中心(memory-centric)的分布式虚拟文件系统,最初诞生于加州大学伯克利分校的AMPLab,是目前大数据生态系统中发展最快的开源社区之一,拥有来自全球200多个组织的900多名开发人员。Alluxio已在全球数百个企事业单位部署应用,并在超过1000个节点的集群上运行。Alluxio提供一个由软件实现的统一化虚拟数据存储层,帮助计算框架无缝对接到底层异构的物理存储系统,为上层大数据计算框架带来显著性能提升。本书以广泛使用的Alluxio 1.8.1版本为基础见编写,是一本全面介绍Alluxio相关技术原理与实践案例的书籍,是国内首本深入介绍Alluxio核心原理和架构的技术书籍。主要内容包括Alluxio系统快速入门,系统架构及读写工作机制、Alluxio与底层存储系统的集成、Alluxio与上层计算框架的集成、Alluxio的基本功能介绍与使用、Alluxio的高级功能介绍与使用;同时也详细介绍了Alluxio在大型企业的经典应用案例与生产实践,以及Alluxio的开源社区开发者指南。本书从概念和原理上对Alluxio的核心框架和相关技术应用进行了详细的解读,并对向开源社区贡献源码进行了简要介绍,旨在为大数据从业人员和大数据存储技术爱好者提供一个深入学习的平台。

作者简介

作者顾荣,南京大学计算机科学与技术系助理研究员,Alluxio项目管理委员会成员和源码维护者;于2016年获得南京大学计算机专业博士学位,主要研究领域为大数据处理技术与系统;在国际期刊、会议发表论文30余篇,包括IEEE TPDS、IEEE ICDE、IEEE IPDPS、JPDC、Parallel Computing、ICPP等;拥有多项发明专利;部分研究成果已在英特尔、百度、华泰证券、苏宁易购、华为、字节跳动等公司落地使用,或被主流开源大数据系统Apache Spark和Alluxio官方版本集成发布;担任多种学术期刊审稿人,以及江苏省计算机学会大数据专委会秘书长、中国计算机学会系统软件专委会委员。

章节目录

版权信息

推荐序一

推荐序二

前言

第1章 Alluxio系统快速入门

1.1 Alluxio背景概述

1.2 获取/编译Alluxio软件

1.3 Alluxio的搭建部署及程序运行

第2章 Alluxio系统架构及读写工作机制

2.1 Alluxio的构架简介与基本特征

2.2 Alluxio的系统功能组件

2.3 Alluxio读写场景的行为分析

第3章 Alluxio与底层存储系统的集成

3.1 配置HDFS作为Alluxio底层存储

3.2 配置Secure HDFS作为Alluxio底层存储

3.3 配置AWS S3作为Alluxio底层存储

3.4 配置Google GCS作为Alluxio底层存储

3.5 配置Azure BLOB Store作为Alluxio底层存储系统

第4章 Alluxio与上层计算框架的集成

4.1 Alluxio的管理员操作命令

4.2 Alluxio的用户操作命令

4.3 Alluxio与Hadoop操作命令行的集成

4.4 Alluxio与Hadoop MapReduce的集成

4.5 Alluxio与Spark的集成

4.6 Alluxio与Hive的集成

4.7 Alluxio与Presto的集成

4.8 Alluxio与TensorFlow的集成

第5章 Alluxio基本功能的介绍与使用

5.1 Alluxio系统环境与属性的配置

5.2 Alluxio底层文件系统的配置与管理

5.3 Alluxio缓存资源的配置与管理

5.4 Alluxio系统Web用户界面的查看与使用

第6章 Alluxio高级功能的介绍与使用

6.1 Alluxio的安全认证与权限控制

6.2 Alluxio的内置Metrics系统

6.3 Alluxio文件系统日志的使用与维护

6.4 Alluxio系统的异常排查

第7章 Alluxio的应用案例与生产实践

7.1 陌陌基于Alluxio加速Spark SQL查询

7.2 京东基于Alluxio和Presto构建交互式查询引擎

7.3 Alluxio在携程实时计算平台中的应用与实践

7.4 去哪儿网利用Alluxio提升异地存储访问性能

7.5 百度基于Alluxio加速远程数据读取

第8章 Alluxio的开源社区开发者指南

8.1 Alluxio的源代码规范

8.2 Alluxio的单元测试流程介绍

8.3 贡献源代码至Alluxio开源社区

Alluxio:大数据统一存储原理与实践是2019年由电子工业出版社出版,作者顾荣。

得书感谢您对《Alluxio:大数据统一存储原理与实践》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。

购买这本书

你可能喜欢
深度学习原理与实践 电子书
(1)大量图例,简单易懂。作者亲自绘制了大量插图,力求还原深度学习的算法思想,分解和剖析晦涩的算法,用图例来表示复杂的问题。生动的图例也能给读者带来阅读乐趣,快乐地学习算法知识,体会深度学习的算法本质。 (2)简化公式,生动比喻。深度学习和机器学习类的书中通常会有大量复杂冗长的算法公式,为了避免出现读者读不懂的情况,本书尽可能地统一了公式和符号,简化相关公式,并加以生动的比喻进行解析。在启发读者的同时,锻炼读者分析问题和解决问题的能力。 (3)算法原理,代码实现。在介绍深度学习及相关算法的原理时,不仅给出了对应的公式,还给出了实现和求解公式的代码,让读者明确该算法的作用、输入和输出。原理与代码相结合,使得读者对深度学习的算法实现更加具有亲切感。 (4)深入浅出,精心剖析。理解深度学习需要一定的机器学习知识,本书在D1章介绍了深度学习与机器学习的关系,并简要介绍了机器学习的内容。在内容安排上,每章依次介绍模型框架的应用场景、结构和使用方式,最后通过真实的案例去全面分析该模型结构。目的是让读者可以抓住深度学习的本质。 (5)入门实践,案例重现。每一章最后的真实案例不是直接堆砌代码,而是讲解使用该算法模型的原因和好处。从简单的背景知识出发,使用前文讲解过的深度学习知识实现一个实际的工程项目。实践可以用于及时检验读者对所学知识的掌握程度,为读者奠定深度学习的实践基础。 将一本技术书籍写得通俗易懂谈何容易,但《深度学习原理与实践》这本书确实做到了。书中对近年来火热的深度学习理论知识进行简单剖析,化繁为简,没有局限于坐而论道,而是将实例和数学理论相结合,让读者能够快速理解各种模型并上手实践,值得细读。 --唐春明 广州大学数学与信息学科学院副院长 本书从原理、方法、实践这 3 个维度系统地介绍了深度学习的方方面面,内容详实,解读清晰,细节与全貌兼顾,既适合初学者阅读,也可以作为深入研究的参考用书。 --杨刚 西安电子科技大学教授 近年来出版的深度学习相关图书中,本书是我见过非常有指导意义的中文书籍之一。本书对 ANN、CNN、RNN 等模型进行深入浅出的介绍,引入大量图例和简化后的公式,让算法浅显易懂。每一章的实践内容都给人惊喜,强烈推荐! --吴健之 腾讯音乐高级工程师 作为产品经理,我能看懂的深度学习书籍实在太少了。本书恰到好处,插图丰富直观,数学公式简练,很喜欢此类风格的图书,易懂好学。即使你不是程序员或算法专家,该书也值得一看! --张瑞 中软国际高级产品经理
边缘计算原理与实践 电子书
本书对边缘计算的发展历史与趋势、几种典型的边缘计算技术的基本架构与原理进行了阐述,并对边缘计算涉及的关键技术与最新进展、部署方案、应用场景与实践进行了详细讲解。本书涉及的内容广泛、技术思想凝炼,突出核心原理和关键技术的阐述,同时力图深入讲解边缘计算开源平台的使用过程。本书对从事边缘计算技术研发的专业人士、网络运营管理人员、相关专业高校学生以及对边缘计算技术感兴趣的读者,都具有一定的参考价值。
云计算原理与实践 电子书
本书系统地讲解了云计算的知识框架,包括云计算的三大认识角度(商业模式、计算范式、实现方式)、四个关键技术(计算、存储、网络、安全)、四种开发运维维度(云原生应用、云操作系统、云端软件、云运维),以及三大应用场景(云桌面、开发云、大数据与人工智能)。本书在大部分的章中安排了一个或多个基于开源软件的实训内容,以帮助读者更有效地动手实践,包括GitHub、Hadoop、OpenStack、KVM、Doc
推荐系统技术原理与实践 电子书
本书系统介绍推荐系统的技术理论和实践。首先介绍推荐系统的基础知识;然后介绍推荐系统常用的机器学习和深度学习模型;接着重点介绍推荐系统的4层级联架构,包括召回、粗排、精排和重排,以及谷歌、阿里巴巴等大型互联网公司在4层级联架构中的模型设计和实现原理;紧接其后介绍多目标排序在推荐系统中的应用,具体介绍阿里巴巴、谷歌等大型互联网公司的实践;最后从不同角度审视推荐系统,介绍公平性问题、知识蒸馏、冷启动等各
深度学习原理与 TensorFlow实践 电子书
本书介绍了深度学习原理与TensorFlow实践。着重讲述了当前学术界和工业界的深度学习核心知识:机器学习概论、神经网络、深度学习。着重讲述了深度学习的实现以及深度学习框架TensorFlow:Python编程基础、TensorFlow编程基础、TensorFlow模型、TensorFlow编程实践、TensorFlowLite和TensorFlow.js、TensorFlow案例--医学应用和S