大数据存储技术

大数据存储技术

查阅电子书
手机扫码
  • 微信扫一扫

    关注微信公众号

编辑推荐

本书由浅入深,层层深入,从基本原理着手,逐步过渡到大数据存储的新技术的发展。

内容简介

本书由浅入深,层层深入,从基本原理着手,逐步过渡到大数据存储的新技术的发展。本书以扎实的理论分析为基础,系统、深入地介绍了分布式文件系统和分布式键值存储的基本原理及其关键问题与解决手段、大数据存储系统的关联技术与进展,包括基于群组的网络文件共享、存储系统的容灾、重复数据删除技术和大数据纠删码存储技术。对大数据存储技术的研究和应用有积极的促进作用。本书的读者对象主要为高等院校的学者和研究生,数据存储架构师、咨询顾问,以及企业内部的相关业务人员。

章节目录

版权信息

内容提要

《国之重器出版工程》编辑委员会

《学术中国·大数据》丛书编辑委员会

丛书总序

前言

第1章 绪论

1.1 大数据存储系统简介

1.2 大数据存储的基本形式

1.3 大数据存储的关键技术

1.4 本书的组织

第2章 分布式文件系统

2.1 文件系统的结构与扩展

2.1.1 文件系统的名字空间与数据读写

2.1.2 文件系统的扩展方式

2.2 分布式文件系统的结构

2.2.1 分布式文件系统的运行环境与特性保证

2.2.2 典型的单一名字空间的分布式文件系统

2.3 分布式文件系统的关键技术讨论

2.3.1 关于性能的讨论

2.3.2 关于可靠性方面的讨论

2.3.3 关于一致性方面的讨论

2.3.4 其他特性讨论

2.4 本章小结

参考文献

第3章 分布式键值对存储

3.1 键值对存储概述

3.2 分布式键值对存储的实现

3.3 通过查找表存储有序的键值对

3.4 本章小结

参考文献

第4章 面向社区共享的网络文件共享系统

4.1 面向社区共享的用户管理模型

4.2 社区共享对多根多版本文件系统的需求

4.3 多根多版本文件系统的元数据管理

4.4 多根多版本文件系统的优化方法

4.5 MeePo的设计与实现

4.6 实验与评价

4.7 本章小结

参考文献

第5章 存储容灾系统

5.1 容灾系统简介

5.2 存储容灾系统的技术体系与现状

5.3 容灾系统的标准建设

5.4 国内的存储容灾系统建设

5.5 并行化高效容灾备份与恢复系统

5.5.1 系统结构与设计

5.5.2 基于系统虚拟化的一致检查点技术

5.5.3 基于IPG的一致检查点

5.5.4 基于即插即用设备的OS透明转换机制

5.5.5 并行恢复中竞争的处理机制

5.5.6 并行恢复中的页缓冲管理方法

5.5.7 系统实现

5.5.8 实际系统的恢复测试实验结果

5.6 异地应用层容灾系统

5.6.1 异地应用层容灾的运行环境

5.6.2 应用层虚拟化

5.6.3 应用层容灾的系统总体结构

5.6.4 应用层容灾虚拟化容器的系统实现

5.6.5 应用层容灾中数据同步与恢复的实现

5.6.6 应用层容灾系统的实际效果评测

5.7 本章小结

参考文献

第6章 大数据存储系统的删冗

6.1 大数据存储删冗技术简介

6.1.1 删冗的一般流程

6.1.2 二级存储删冗挑战

6.1.3 删冗系统的分类和现状

6.1.4 现有的相关存储数据删冗系统与技术

6.2 重复数据删除技术在云存储系统中的应用与优化

6.2.1 AegeanStore的设计与实现

6.2.2 文件系统服务的设计与实现

6.2.3 AegeanStore中重复数据删除技术的优化

6.2.4 AegeanStore的效果测试与评价

6.3 高效主存储内嵌删冗系统的设计与实现

6.3.1 主存储删冗存在的挑战

6.3.2 现有的主内存删冗方案

6.3.3 主存储内嵌删冗系统PDFS的技术选择分析

6.3.4 主存储内嵌删冗系统PDFS的设计与实现

6.3.5 实验与评价

6.4 本章小结

参考文献

第7章 大数据存储纠删码技术与优化

7.1 大数据存储的纠删码技术

7.2 纠删码相关技术与工作

7.2.1 纠删码技术简介

7.2.2 RS编码相关工作

7.2.3 HDFS

7.3 高效纠删码编码方法CaCo

7.3.1 准备柯西矩阵

7.3.2 求调度

7.3.3 选择优化调度方案

7.4 高效纠删码编码方法的应用

7.4.1 原型实现

7.4.2 本地编码中的应用

7.4.3 云存储系统中的应用

7.5 高效纠删码编码方法的性能评价

7.5.1 选择框架实验测试

7.5.2 数据编码性能测试

7.6 本章小结

参考文献

大数据存储技术是2021年由人民邮电出版社出版,作者武永卫。

得书感谢您对《大数据存储技术》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。

你可能喜欢
MySQL数据库运维与管理(微课版) 电子书
随着企业数字化转型不断深化,企业对数据库工程师的需求越来越大。本书结合实际工作场景,将企业数据库运维的相关工作分为10个项目,内容包括了解数据库运维工作,安装和配置MySQL,管理MySQL权限与安全,分析MySQL日志,备份与恢复MySQL,监控、测试并优化MySQL性能,MySQL复制,搭建及运维MySQLCluster,结合Redis的MySQL运维,数据库自动化运维。本书配套教学PPT、题
图数据库实战 电子书
图数据库入门教程书籍,采用Gremlin语言,完整展示图应用程序的构建过程,从入门到实践学习图数据库。
数据库安全技术 电子书
本书共8章,重点介绍与数据库安全相关的理论和技术,主要内容包括数据库安全基础、数据库安全层次、SQL和Web应用基础、SQL注入与防范、数据库访问控制、数据库备份与恢复、数据加密与审核、大数据与安全。本书适合作为高等院校信息安全、信息管理、大数据等相关专业的教材,也可作为对数据库安全感兴趣的读者的自学教材。
PowerBI商务智能数据分析 电子书
一本教你用Microsoft Power BI分析处理经营业务数据的教程。
MySQL数据库技术与应用 电子书
MySQL是目前最流行的关系数据库管理系统之一。本书以MySQL5.6数据库管理系统为平台,以案例教学法为编写主线,介绍了数据库系统的基本概念和应用技术。本书以学生选课管理系统作为教学案例,以网上书店作为实训案例,采用“学习要点—内容示例—归纳总结—习题实训”的结构体系设计每章内容。最后一章以一个具体的项目案例开发设计过程,将数据库原理知识与实际数据库开发结合在一起。本书采用在线开放课程教学方式,