企业级数据架构:核心要素、架构模型、数据管理与平台搭建

企业级数据架构:核心要素、架构模型、数据管理与平台搭建

查阅电子书
手机扫码
  • 微信扫一扫

    关注微信公众号

因版权原因待上架

编辑推荐

一部从企业架构视角系统讲解企业级数据架构的著作。

内容简介

本书从0到1讲解了数据架构的技术栈、方法论与落地实践,揭示了数据架构的底层逻辑,总结了数据架构的核心要素和架构模型,阐述了数据治理、数据资产管理以及数据平台的搭建等全方位的内容,是作者10余年数据工作经验的总结。

本书主要分为五部分:

第一部分:架构基础,对企业架构的组成要素以及流行的企业架构框架进行了总览性质的介绍,数据架构是重点;

第二部分:数据架构基础,详细讲解了数据架构的组成、数据存储、数据调度与消息传输、Lambda架构和Kappa架构以及数据架构的辅助资源组件;

第三部分:数据架构模型,首先介绍了企业内部数据区的划分与内部数据的流向,然后讲解了数据模型的建模策略、步骤和方法,以及维度建模的详细内容;

第四部分:数据管理,讲解了数据架构的核心内容,包括元数据管理、数据质量管理、数据标准管理、数据治理和数据资产管理等的方法和实践;

第五部分:数据架构实践,通过离线计算和实时计算两大场景中的综合案例,对前面的内容进行了融合,手把手教读者进行数据架构实践。

作者简介

作者李杨,资深数据架构师,在数据相关领域有10年以上工作经验。头部保险资管公司科技平台交易系统团队开发组负责人,负责多个应用以及数据平台的建设、优化以及迁移工作。曾担任某数据公司技术合伙人,负责多个金融机构的数据仓库或数据平台相关的工作。

在数据质量管理、数据治理等领域有着非常深厚的积累,熟悉不同行业的数字化转型。此外,他还是一名经验丰富的应用工程师,对大数据、数据库以及主流的技术栈有着非常深入的了解。

章节目录

版权信息

自序

前言

第一部分 架构基础

第1章 企业架构概述

1.1 企业架构

1.2 Zachman框架

1.3 TOGAF

1.4 业务架构

1.5 数据架构

1.6 总结

第二部分 数据架构基础

第2章 数据架构构成

2.1 数据模型

2.2 元数据

2.3 数据质量

2.4 数据标准

2.5 数据治理

2.6 数据资产

2.7 数据生命周期

2.8 数据分布

2.9 常见数据架构技术选型

2.10 数据调度

2.11 总结

第3章 数据存储

3.1 数据存储基础

3.2 集中式数据库

3.3 分布式数据库

3.4 大数据存储

3.5 特定领域存储

3.6 实时计算阶段

3.7 总结

第4章 数据调度与消息传输

4.1 通用技术选型

4.2 Airflow调度平台

4.3 DataX数据同步工具

4.4 Kafka消息中间件

4.5 总结

第5章 Lambda架构与Kappa架构

5.1 架构演进

5.2 Lambda架构详解

5.3 Kappa架构详解

5.4 Lambda与Kappa对比

5.5 流批一体化

5.6 总结

第6章 辅助类应用体系介绍

6.1 资源管理

6.2 资源及组件监控

6.3 应用监控

6.4 日志监控

6.5 总结

第三部分 数据架构模型实践

第7章 企业数据区与数据流向

7.1 数据区概述

7.2 数据区详解

7.3 企业数据流向

7.4 企业数据分层

7.5 企业集成型数据区层级

7.6 互联网公司的集成型数据区分层特点

7.7 总结

第8章 数据模型架构详解

8.1 为什么要建模

8.2 建模策略

8.3 建模三步走

8.4 建模方法论

8.5 常见模型概述

8.6 数据层级与数据模型的关系

8.7 总结

第9章 维度建模解析

9.1 维度建模概述

9.2 维度建模总线结构

9.3 维度详解

9.4 缓慢变化维度

9.5 事实表详解

9.6 事务型事实表

9.7 总结

第四部分 数据资产管理

第10章 元数据管理

10.1 元数据概述

10.2 元数据的产生

10.3 不同类型元数据详解

10.4 元数据的价值

10.5 元数据的应用

10.6 元数据的生命周期

10.7 元数据管理体系构建

10.8 总结

第11章 数据质量管理

11.1 数据质量概述

11.2 数据质量内涵

11.3 数据质量管理框架

11.4 数据质量核心维度

11.5 数据质量规则体系

11.6 数据质量评估

11.7 总结

第12章 数据标准管理

12.1 数据标准概述

12.2 数据标准内涵

12.3 数据标准体系设计框架

12.4 数据标准管理流程

12.5 数据标准的挑战

12.6 数据标准与数据质量的关系

12.7 总结

第13章 数据治理

13.1 为什么需要数据治理

13.2 数据治理内涵

13.3 数据治理核心准则

13.4 数据治理通用流程

13.5 数据治理的挑战

13.6 总结

第14章 数据资产管理与数据资产目录

14.1 数据资产内涵

14.2 数据资产管理活动职能

14.3 数据资产目录实践

14.4 总结

第五部分 数据架构实践

第15章 离线计算

15.1 离线计算架构概述

15.2 架构设计

15.3 软件部署

15.4 模型设计

15.5 数据处理

15.6 离线计算数据应用

15.7 总结

第16章 实时计算

16.1 实时计算架构概述

16.2 架构设计

16.3 软件部署

16.4 连通性配置

16.5 实时计算层

16.6 总结

第17章 对数字未来的展望

17.1 建设数字中国

17.2 金融行业的数字化转型

17.3 数据架构核心

17.4 数据开发趋势

17.5 DataOps发展

17.6 总结

企业级数据架构:核心要素、架构模型、数据管理与平台搭建是2024年由机械工业出版社出版,作者李杨。

得书感谢您对《企业级数据架构:核心要素、架构模型、数据管理与平台搭建》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。

购买这本书

你可能喜欢
云数据中心网络架构与技术 电子书
由华为数据通信数字化信息开发部和数据通信架构与设计部联合编写 基于华为在全球范围的丰富商用交付经验 聚焦新一代网络技术的发展热点 聚集华为数据通信产品线的一线专家和技术人员的研发成果 提供性能高、体验优、组网强、应用很好创新解决方案 针对未来万物高速、实时互联的海量应用场景,为满足大变革时代全新的企业需求痛点,提供充分发挥AI算力的、业界领先的解决方案,介绍如何构建智简、弹性、开放的数据中心网络。
金融数据中心网络架构与技术 电子书
本书以金融行业面临的业务挑战为切入点,详细介绍了金融数据中心网络的架构设计、技术实现、规划设计和部署建议。首先介绍金融数据中心网络的主要需求;然后介绍金融数据中心网络的设计与实现,内容包含网络架构设计、网络Fabric设计、网络通用功能属性设计、网络安全设计和网络运维设计;最后对金融数据中心网络当前的一些热点技术进行讲解和展望。
数据存储架构与技术(第2版) 电子书
本书介绍数据存储架构与技术,涵盖存储盘与存储介质、存储阵列、存储协议、键值存储、文件系统、网络存储体系结构、分布式存储系统、存储可靠性、存储安全、数据保护等基础内容,对存储维护、存储解决方案、存储技术趋势与发展等主题进行了深入讨论,以新的研究成果作为案例,同时提供习题帮助读者加深对数据存储的理解与运用。本书适合计算机及相关专业高年级本科生或研究生阅读、学习,同时也可供相关专业技术人员参考。
Hadoop平台搭建与应用 电子书
本书以任务驱动为主线,围绕企业级应用进行项目任务设计,介绍了平台的本地模式安装、伪分布式模式安装及完全分布式模式安装,并基于Hadoop2.X生态系统,全面讲解了Hive环境搭建与基本操作、ZooKeeper环境搭建与基本操作、HBase环境搭建与基本操作、Hadoop常用工具组件的安装与应用、集群搭建与管理,以及Hadoop平台应用综合案例等相关知识及操作技能。
运营商数据中心网络架构与技术 电子书
本书以运营商数据中心网络面临的业务挑战为切入点,详细介绍运营商数据中心网络的架构设计、技术实现和规划设计,并给出部署建议。首先,本书介绍运营商数据中心整体业务的发展情况,从业务的维度总结运营商数据中心的5个场景业务——IT云、电信云、IDC、公有云以及城域IPTV与CDN对网络的诉求。接着,本书基于运营商业务的三个主要场景——IT云、电信云和IDC,给出业务和网络发展趋势、需求分析、网络架构设计和