实时分析实战:构建实时流处理应用和分析系统

实时分析实战:构建实时流处理应用和分析系统

查阅电子书
手机扫码
  • 微信扫一扫

    关注微信公众号

因版权原因待上架

编辑推荐

深入探索实时分析系统。

内容简介

本书为想要设计、构建和维护实时分析应用程序的人员(包括数据工程师、架构师和技术领导者)提供了结构合理的基础知识。

第1章和第2章简要介绍实时分析,并概述可以构建的实时分析应用程序的类型。第3章介绍一家虚构的比萨公司,该公司已经建立了流处理基础设施,但尚未实现任何实时分析功能。第4~10章展示如何为这家比萨公司实现不同类型的实时分析应用程序。第11~13章介绍将应用程序投入生产时的注意事项、实时分析的一些真实使用案例,以及未来几年该领域可能会出现的情况。

作者简介

作者马克·尼达姆,是Neo4j的图形倡导者和开发人员关系工程师。

章节目录

版权信息

O'Reilly Media, Inc.介绍

译者序

前言

第1章 实时分析简介

1.1 什么是事件流

1.2 理解流数据

1.3 什么是实时分析

1.4 实时分析的优势

1.4.1 新的收入来源

1.4.2 及时洞察客户

1.4.3 降低基础设施成本

1.4.4 改善整体客户体验

1.5 实时分析用例

1.5.1 面向用户的分析

1.5.2 个性化

1.5.3 指标

1.5.4 异常检测和根本原因分析

1.5.5 可视化

1.5.6 即时分析

1.5.7 日志分析/文本搜索

1.6 对实时分析应用程序进行分类

1.6.1 面向内部与面向外部

1.6.2 面向机器与面向人类

1.7 本章小结

第2章 实时分析生态系统

2.1 定义实时分析生态系统

2.2 经典流处理技术栈

2.2.1 复杂事件处理

2.2.2 大数据时代

2.3 现代流处理技术栈

2.3.1 事件生成器

2.3.2 流处理数据平台

2.3.3 流处理层

2.3.4 服务层

2.3.5 前端

2.4 本章小结

第3章 介绍AATD:比萨外卖店的实时分析

3.1 现有架构

3.2 设置

3.2.1 MySQL

3.2.2 Apache Kafka

3.2.3 ZooKeeper

3.2.4 订单服务

3.2.5 启动组件

3.3 检查数据

3.4 实时分析的应用

3.5 本章小结

第4章 使用Kafka Streams进行查询

4.1 什么是Kafka Streams

4.2 什么是Quarkus

4.3 Quarkus应用程序

4.3.1 安装Quarkus CLI

4.3.2 创建Quarkus应用程序

4.3.3 创建拓扑结构

4.3.4 查询键值存储

4.3.5 创建HTTP端点

4.4 运行应用程序

4.5 查询HTTP端点

4.6 Kafka Streams的局限性

4.7 本章小结

第5章 服务层

5.1 为什么不能使用其他流处理器

5.2 为什么不能使用数据仓库

5.3 什么是Apache Pinot

5.4 Pinot如何对数据进行建模和存储

5.4.1 数据模式

5.4.2 表

5.5 配置

5.6 数据摄取

5.7 Pinot数据浏览器

5.8 索引

5.9 更新Web应用程序

5.10 本章小结

第6章 构建实时分析仪表盘

6.1 仪表盘架构

6.2 什么是Streamlit

6.3 配置

6.4 构建仪表盘

6.5 本章小结

第7章 通过CDC获取产品变化

7.1 从业务数据库获取更改信息

7.2 CDC

7.2.1 为什么需要CDC

7.2.2 什么是CDC

7.2.3 实施CDC的策略

7.2.4 基于日志的数据采集

7.2.5 CDC系统的需求

7.2.6 Debezium

7.3 将CDC应用于AATD

7.3.1 配置

7.3.2 将Debezium连接到MySQL

7.3.3 查询商品数据流

7.3.4 更新产品

7.4 本章小结

第8章 使用Kafka Streams连接流

8.1 使用Kafka Streams丰富订单数据

8.2 将订单项添加到Pinot

8.3 更新订单服务信息

8.4 刷新Streamlit仪表盘

8.5 本章小结

第9章 服务层的插入更新

9.1 订单状态

9.2 丰富订单流信息

9.3 Apache Pinot的插入更新

9.4 更新订单服务

9.4.1 创建用户资源文件

9.4.2 添加一个所有用户的端点

9.4.3 为用户端点添加订单

9.4.4 添加单个订单端点

9.4.5 实现跨资源共享

9.5 前端应用程序

9.6 仪表盘上的订单状态

9.6.1 每个订单状态的耗时

9.6.2 可能被延误的订单

9.7 本章小结

第10章 地理空间查询

10.1 交付状态

10.2 更新Apache Pinot

10.2.1 订单

10.2.2 交付状态

10.3 更新订单服务

10.3.1 个人订单

10.3.2 按地区划分的延迟订单

10.3.3 使用新的API端点

10.4 本章小结

第11章 生产环境中的注意事项

11.1 前期准备

11.1.1 容量规划

11.1.2 数据分区

11.1.3 吞吐量

11.1.4 数据保留

11.1.5 数据粒度

11.1.6 总数据大小

11.1.7 复制因子

11.2 部署平台

11.2.1 自身技能

11.2.2 数据隐私和安全

11.2.3 成本

11.2.4 控制

11.3 后期管理

11.3.1 监控和报警

11.3.2 数据治理

11.4 本章小结

第12章 现实世界中的实时分析

12.1 内容推荐(专业社交网络)

12.1.1 问题

12.1.2 解决方案

12.1.3 收益

12.2 运营分析(流媒体服务)

12.2.1 问题

12.2.2 解决方案

12.2.3 收益

12.3 实时广告分析(网上商城)

12.3.1 问题

12.3.2 解决方案

12.3.3 收益

12.4 面向用户的分析(协作平台)

12.4.1 问题

12.4.2 解决方案

12.4.3 收益

12.5 本章小结

第13章 实时分析的未来

13.1 边缘分析

13.2 计算存储分离

13.3 湖仓一体

13.4 实时数据可视化

13.5 流式数据库

13.6 流数据平台即服务

13.7 反向ETL

13.8 本章小结

作者简介

封面简介

实时分析实战:构建实时流处理应用和分析系统是2024年由机械工业出版社出版,作者[英] 马克·尼达姆。

得书感谢您对《实时分析实战:构建实时流处理应用和分析系统》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。

购买这本书

你可能喜欢
pandas数据处理与分析 电子书
本书以Python中的pandas库为主线,介绍各类数据处理与分析方法。
Excel数据分析与处理 电子书
全书分为4篇:第1篇为应用基础篇,主要介绍Excel的基本功能和基本操作;第2篇为数据处理篇,主要介绍使用公式和函数实现数据处理的方法,以及直观显示数据的方法;第3篇为数据分析篇,主要介绍Excel数据管理、数据分析方面的基本功能和分析方法;第4篇为拓展应用篇,主要介绍宏和协同功能。
Excel财务数据处理与分析实战技巧精粹 电子书
一本拿来解决实际问题的财务工作者案头书。
人人都是数据分析师:Tableau应用实战 电子书
海量实例贯穿全书,深度讲解Tableau核心功能。
Excel 2016数据处理与分析应用教程(微课版) 电子书
本书分为10章,内容包括Excel2016基础知识、工作表输入与编辑、公式、函数、图表、数据管理、数据透视分析、宏与VBA编程、财务分析函数应用、模拟分析与规划求解。全书采用由易到难、循序渐进的方式介绍了Excel常用的知识点,并通过大量的实例帮助读者理解和掌握所学内容。本书内容详实、实例丰富、操作步骤清晰、实用性强。本书可以作为高等院校相关专业的教学用书,也可以作为企事业单位人员提高数据分析能力