本书围绕大数据流处理领域，介绍FlinkDataStreamAPI、时间和窗口、状态和检查点、TableAPI&SQL等知识。书中以实践为导向，使用大量真实业务场景案例来演示如何基于Flink进行流处理。
电子书
内容简介
《Flink内核原理与实现》既讲解了Flink的入门、安装、流计算开发入门、类型和序列化系统、监控运维、安全管理配置等基础知识，又讲解了Flink的时间概念、Window的实现原理及其代码解析，Flink的容错机制原理，Flink容错的关键设计、代码实现分析，Flink Job从源码到执行整个过程的解析，Flink Job的调度策略、资源管理策略、内存管理、数据交换的关键设计和代码实现分析，Flink的RPC通信框架等深度内容。 《Flink内核原理与实现》适合对实时计算感兴趣的大数据开发、运维领域的从业人员阅读，此外对机器学习工程技术人员也有所帮助。
章节目录
- 封面
- 前折页
- 书名页
- 版权页
- 序
- 前言
- 目录
- 第1章 Flink入门
- 1.1 核心特点
- 1.1.1 批流一体
- 1.1.2 可靠的容错能力
- 1.1.3 高吞吐、低延迟
- 1.1.4 大规模复杂计算
- 1.1.5 多平台部署
- 1.2 架构
- 1.2.1 技术架构
- 1.2.2 运行架构
- 1.3 Flink的未来
- 1.4 准备工作
- 1.5 总结
- 第2章 Flink应用
- 2.1 Flink应用开发
- 2.2 API层次
- 2.3 数据流
- 2.4 数据流API
- 2.4.1 数据读取
- 2.4.2 处理数据
- 2.4.3 数据写出
- 2.4.4 旁路输出
- 2.5 总结
- 第3章 核心抽象
- 3.1 环境对象
- 3.1.1 执行环境
- 3.1.2 运行时环境
- 3.1.3 运行时上下文
- 3.2 数据流元素
- 3.3 数据转换
- 3.4 算子
- 3.4.1 算子行为
- 3.4.2 Flink算子
- 3.4.3 Blink算子
- 3.4.4 异步算子
- 3.5 函数体系
- 3.5.1 函数层次
- 3.5.2 处理函数
- 3.5.3 广播函数
- 3.5.4 异步函数
- 3.5.5 数据源函数
- 3.5.6 输出函数
- 3.5.7 检查点函数
- 3.6 数据分区
- 3.7 连接器
- 3.8 分布式ID
- 3.9 总结
- 第4章 时间与窗口
- 4.1 时间类型
- 4.2 窗口类型
- 4.3 窗口原理与机制
- 4.3.1 WindowAssigner
- 4.3.2 WindowTrigger
- 4.3.3 WindowEvictor
- 4.3.4 Window函数
- 4.4 水印
- 4.4.1 DataStream Watermark生成
- 4.4.2 Flink SQL Watermark生成
- 4.4.3 多流的Watermark
- 4.5 时间服务
- 4.5.1 定时器服务
- 4.5.2 定时器
- 4.5.3 优先级队列
- 4.6 窗口实现
- 4.6.1 时间窗口
- 4.6.2 会话窗口
- 4.6.3 计数窗口
- 4.7 总结
- 第5章 类型与序列化
- 5.1 DataStream类型系统
- 5.1.1 物理类型
- 5.1.2 逻辑类型
- 5.1.3 类型推断
- 5.1.4 显式类型
- 5.1.5 类型系统存在的问题
- 5.2 SQL类型系统
- 5.2.1 Flink Row
- 5.2.2 Blink Row
- 5.2.3 ColumnarRow
- 5.3 数据序列化
- 5.3.1 数据序列化/反序列化
- 5.3.2 String序列化过程示例
- 5.3.3 作业序列化
- 5.3.4 Kryo序列化
- 5.4 总结
- 第6章 内存管理
- 6.1 自主内存管理
- 6.2 内存模型
- 6.2.1 内存布局
- 6.2.2 内存计算
- 6.3 内存数据结构
- 6.3.1 内存段
- 6.3.2 内存页
- 6.3.3 Buffer
- 6.3.4 Buffer资源池
- 6.4 内存管理器
- 6.4.1 内存申请
- 6.4.2 内存释放
- 6.5 网络缓冲器
- 6.5.1 内存申请
- 6.5.2 内存回收
- 6.6 总结
- 第7章 状态原理
- 7.1 状态类型
- 7.1.1 KeyedState与OperatorState
- 7.1.2 原始和托管状态
- 7.2 状态描述
- 7.3 广播状态
- 7.4 状态接口
- 7.4.1 状态操作接口
- 7.4.2 状态访问接口
- 7.5 状态存储
- 7.5.1 内存型和文件型状态存储
- 7.5.2 基于RocksDB的StateBackend
- 7.6 状态持久化
- 7.7 状态重分布
- 7.7.1 OperatorState重分布
- 7.7.2 KeyedState重分布
- 7.8 状态过期
- 7.8.1 DataStream中状态过期
- 7.8.2 Flink SQL中状态过期
- 7.8.3 状态过期清理
- 7.9 总结
- 第8章 作业提交
- 8.1 提交流程
- 8.1.1 流水线执行器PipelineExecutor
- 8.1.2 Yarn Session提交流程
- 8.1.3 Yarn Per-Job提交流程
- 8.1.4 K8s Session提交流程
- 8.2 Graph总览
- 8.3 流图
- 8.3.1 StreamGraph核心对象
- 8.3.2 StreamGraph生成过程
- 8.3.3 单输入物理Transformation的转换示例
- 8.3.4 虚拟Transformation的转换示例
- 8.4 作业图
- 8.4.1 JobGraph核心对象
- 8.4.2 JobGraph生成过程
- 8.4.3 算子融合
- 8.5 执行图
- 8.5.1 ExecutionGraph核心对象
- 8.5.2 ExecutionGraph生成过程
- 8.6 总结
- 第9章 资源管理
- 9.1 资源抽象
- 9.2 资源管理器
- 9.3 Slot管理器
- 9.4 SlotProvider
- 9.5 Slot选择策略
- 9.6 Slot资源池
- 9.7 Slot共享
- 9.8 总结
- 第10章 作业调度
- 10.1 调度
- 10.2 执行模式
- 10.3 数据交换模式
- 10.4 作业生命周期
- 10.4.1 作业生命周期状态
- 10.4.2 Task的生命周期
- 10.5 关键组件
- 10.5.1 JobMaster
- 10.5.2 TaskManager
- 10.5.3 Task
- 10.5.4 StreamTask
- 10.6 作业启动
- 10.6.1 JobMaster启动作业
- 10.6.2 流作业启动调度
- 10.6.3 批作业调度
- 10.6.4 TaskManger启动Task
- 10.7 作业停止
- 10.8 作业失败调度
- 10.8.1 默认作业失败调度
- 10.8.2 遗留的作业失败调度
- 10.9 组件容错
- 10.9.1 容错设计
- 10.9.2 HA服务
- 10.9.3 JobMaster的容错
- 10.9.4 ResourceManager容错
- 10.9.5 TaskManager的容错
- 10.10 总结
- 第11章 作业执行
- 11.1 作业执行图
- 11.2 核心对象
- 11.2.1 输入处理器
- 11.2.2 Task输入
- 11.2.3 Task输出
- 11.2.4 结果分区
- 11.2.5 结果子分区
- 11.2.6 有限数据集
- 11.2.7 输入网关
- 11.2.8 输入通道
- 11.3 Task执行
- 11.3.1 Task处理数据
- 11.3.2 Task处理Watermark
- 11.3.3 Task处理StreamStatus
- 11.3.4 Task处理LatencyMarker
- 11.4 总结
- 第12章 数据交换
- 12.1 数据传递模式
- 12.2 关键组件
- 12.2.1 RecordWriter
- 12.2.2 数据记录序列化器
- 12.2.3 数据记录反序列化器
- 12.2.4 结果子分区视图
- 12.2.5 数据输出
- 12.3 数据传递
- 12.3.1 本地线程内的数据传递
- 12.3.2 本地线程间的数据传递
- 12.3.3 跨网络的数据传递
- 12.4 数据传递过程
- 12.4.1 数据读取
- 12.4.2 数据写出
- 12.4.3 数据清理
- 12.5 网络通信
- 12.5.1 网络连接
- 12.5.2 无流控
- 12.5.3 基于信用的流控
- 12.6 总结
- 第13章 应用容错
- 13.1 容错保证语义
- 13.2 检查点与保存点
- 13.3 作业恢复
- 13.3.1 检查点恢复
- 13.3.2 保存点恢复
- 13.3.3 恢复时的时间问题
- 13.4 关键组件
- 13.4.1 检查点协调器
- 13.4.2 检查点消息
- 13.5 轻量级异步分布式快照
- 13.5.1 基本概念
- 13.5.2 Barrier对齐
- 13.6 检查点执行过程
- 13.6.1 JobMaster触发检查点
- 13.6.2 TaskExecutor执行检查点
- 13.6.3 JobMaster确认检查点
- 13.7 检查点恢复过程
- 13.8 端到端严格一次
- 13.8.1 两阶段提交协议
- 13.8.2 两阶段提交实现
- 13.9 总结
- 第14章 Flink SQL
- 14.1 Apache Calcite
- 14.1.1 Calcite是什么
- 14.1.2 Calcite的技术特点
- 14.1.3 Calcite的主要功能
- 14.1.4 Calcite的核心原理
- 14.2 动态表
- 14.2.1 流映射为表
- 14.2.2 连续查询
- 14.2.3 流上SQL查询限制
- 14.2.4 表到流的转换
- 14.3 TableEnvironment
- 14.3.1 TableEnvironment体系
- 14.3.2 TableEnvironment使用示例
- 14.4 Table API
- 14.5 SQL API
- 14.6 元数据
- 14.6.1 元数据管理
- 14.6.2 元数据分类
- 14.7 数据访问
- 14.7.1 Table Source
- 14.7.2 Table Slink
- 14.8 SQL函数
- 14.9 Planner关键抽象
- 14.9.1 Expression
- 14.9.2 ExpressionResolver
- 14.9.3 Operation
- 14.9.4 QueryOperation
- 14.9.5 物理计划节点
- 14.10 Blink Planner和Flink Planner对比
- 14.11 Blink与Calcite关系
- 14.12 Blink SQL执行过程
- 14.12.1 从SQL到Operation
- 14.12.2 Operation到Transformation
- 14.13 Blink Table API执行过程
- 14.13.1 Table API到Operation
- 14.13.2 Operation到Transformation
- 14.14 Flink与Calcite的关系
- 14.15 Flink SQL执行过程
- 14.15.1 SQL到Operation
- 14.15.2 Operation到DataStream/DataSet
- 14.16 Flink Table API执行过程
- 14.17 SQL优化
- 14.18 Blink优化
- 14.18.1 优化器
- 14.18.2 代价计算
- 14.18.3 优化过程
- 14.18.4 优化规则
- 14.18.5 公共子图
- 14.19 Flink优化
- 14.19.1 优化器
- 14.19.2 优化过程
- 14.19.3 优化规则
- 14.20 代码生成
- 14.20.1 为什么进行代码生成
- 14.20.2 代码生成范围
- 14.20.3 代码生成示例
- 14.21 总结
- 第15章 运维监控
- 15.1 监控指标
- 15.2 指标组
- 15.3 监控集成
- 15.4 指标注册中心
- 15.5 指标查询服务
- 15.6 延迟跟踪实现原理
- 15.7 总结
- 第16章 RPC框架
- 16.1 Akka简介
- 16.1.1 Akka是什么
- 16.1.2 使用Akka
- 16.1.3 Akka的通信
- 16.2 RPC消息的类型
- 16.3 RPC通信组件
- 16.3.1 RpcGateway
- 16.3.2 RpcEndpoint
- 16.3.3 RpcService
- 16.3.4 RpcServer
- 16.3.5 AkkaRpcActor
- 16.4 RPC交互过程
- 16.4.1 RPC请求发送
- 16.4.2 RPC请求响应
- 16.5 总结
- 专家寄语
- 参考文献
- 后折页
- 封底
展开全部
Flink内核原理与实现是2020年由机械工业出版社出版,作者冯飞 崔鹏云 陈冠华 编著。
温馨提示：
1.本电子书已获得正版授权，由出版社通过知传链发行。
2.该电子书为虚拟物品，付费之后概不接收任何理由退款。电子书内容仅支持在线阅读，不支持下载。
3.您在本站购买的阅读使用权仅限于您本人阅读使用，您不得/不能给任何第三方使用，由此造成的一切相关后果本平台保留向您追偿索赔的权利！版权所有，后果自负！
得书感谢您对《Flink内核原理与实现》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
电子书
电子书
本书介绍了BRAS的技术背景和传统BRAS的基本原理，从而介绍vBRAS的基本原理和相关关键技术，包括SDN、NFV、云计算使能技术，软、硬件加速技术，以及主要的接口协议和开源控制器。探讨了vBRAS设备实现、主要应用场景以及vBRAS的组网技术和组网模式，最后列举了基于OpenBRAS开源社区的vBRAS开源情况。
电子书
本书系统地讲解了云计算的知识框架，包括云计算的三大认识角度（商业模式、计算范式、实现方式）、四个关键技术（计算、存储、网络、安全）、四种开发运维维度（云原生应用、云操作系统、云端软件、云运维），以及三大应用场景（云桌面、开发云、大数据与人工智能）。本书在大部分的章中安排了一个或多个基于开源软件的实训内容，以帮助读者更有效地动手实践，包括GitHub、Hadoop、OpenStack、KVM、Doc
电子书
操作系统是计算机系统的核心，是其他一切软件运行的基础。本书主要介绍操作系统的基本原理和实现方法。全书共12章，包括操作系统概论、进程管理、处理器管理、内存管理、I/O设备管理、磁盘和固态硬盘、文件系统、操作系统安全、分布式操作系统、虚拟机、鸿蒙操作系统、欧拉操作系统等内容。本书以鸿蒙和欧拉等具有代表性的国产操作系统为例，通过对操作系统知识的讲解，帮助学生系统掌握操作系统的基本概念、工作原理、主要功
电子书
本书从实用角度出发，首先介绍了Flink的功能模块、运行模式、部署安装等内容，然后着重介绍了Flink中的实时处理技术和批量处理技术，接着讲解了Flink的Table与SQL、CEP机制、调优与监控、实时数据同步解析，*后通过Flink结合Kylin实现了实时数据统计的功能。本书内容全面，由浅入深，包含大量的代码示例，并提供下载服务，每章配有重要知识点串讲视频和小结，以指导读者轻松入门。本书适合有
电子书
本书以项目和任务的形式形式，围绕铁路运输车站工作组织进行编写，结合现场实际，主要内容包括站细的解读、营业线施工规定、车站运行图调整。
电子书
本书包含无人机概念知识，结合读者特点分析，表明无人机行业、市场、读者职业三者之间的相互关系。结合无人机实际应用和制作指导为读者提供无人机概念、理论、硬件知识，将实用性、趣味性、理论性充分融合。
电子书
本书以TensorFlow1.2为基础，从基本概念、内部实现和实践等方面深入剖析了TensorFlow。书中首先介绍了TensorFlow设计目标、基本架构、环境准备和基础概念，接着重点介绍了以数据流图为核心的机器学习编程框架的设计原则与核心实现，紧接着还将TensorFlow与深度学习相结合，从理论基础和程序实现这两个方面系统介绍了CNN、GAN和RNN等经典模型，然后深入剖析了TensorFl
