电子书
编辑推荐
本书从设计思想和特性开发两个视角，对Flink框架进行介绍。
内容简介
本书以核心概念和基本应用为脉络，介绍Flink的核心特性(如检查点机制、时间与窗口、混洗机制等)、任务部署、DataStream API、DataSet API、Table API的应用以及运行时原理等内容。本书每章先对概念进行基本介绍，然后基于应用实例详细分析Flink的设计思想和源码实现，逐步引领读者掌握定制化的开发特性并提升性能，让读者对Flink的理解有质的飞跃。
章节目录
- FY
- 序 一
- 序 二
- 前 言
- 资源与支持
- 目 录
- 第一部分 设计思想篇
- 第1章 序篇
- 1.1 Flink 的诞生与发展
- 1.1.1 Stratosphere项目
- 1.1.2 Apache Flink的发展
- 1.2 Flink 的应用场景
- 1.2.1事件驱动型应用
- 1.2.2数据分析型应用
- 1.2.3数据管道型应用
- 1.3 Flink 的核心特性与架构
- 1.3.1核心特性
- 1.3.2架构
- 1.4准备工作
- 1.5总结
- 第2章 Flink编程
- 2.1 API层级
- 2.2 DataStream API
- 2.2.1 DataStream版本的WordCountOrDuration
- 2.2.2数据源
- 2.2.3数据的转换操作
- 2.2.4数据的输出
- 2.2.5重分区
- 2.3 DataSet API
- 2.3.1 DataSet版本的WordCountOrDuration
- 2.3.2数据源
- 2.3.3数据的转换操作
- 2.3.4数据的输出
- 2.3.5重分区
- 2.4 Table API
- 2.4.1 Table API版本的WordCountOrDuration
- 2.4.2初始化执行环境
- 2.4.3获取Table对象
- 2.4.4 Table API中的转换操作及输出
- 2.5 SQL
- 2.6总结
- 第3章 Flink API层的实现原理
- 3.1 DataStream API
- 3.1.1 StreamExecutionEnvironment执行环境
- 3.1.2 Function接口分析
- 3.1.3 StreamOperator算子分析
- 3.1.4转换操作分析
- 3.1.5数据流相关类分析
- 3.2 DataSet API
- 3.2.1 ExecutionEnvironment执行环境
- 3.2.2 InputFormat和OutputFormat
- 3.2.3数据集相关类分析
- 3.3 Table API和 SQL
- 3.4总结
- 第4章 Flink的执行图
- 4.1 StreamGraph的生成
- 4.1.1 StreamGraphGenerator分析
- 4.1.2 StreamGraph分析
- 4.1.3 StreamNode和StreamEdge
- 4.2 Plan的生成
- 4.2.1 OperatorTranslation分析
- 4.2.2 Plan分析
- 4.3从 StreamGraph到 JobGraph
- 4.3.1 StreamingJobGraphGenerator分析
- 4.3.2 JobGraph分析
- 4.3.3 JobVertex、JobEdge和IntermediateDataSet
- 4.4从 Plan到 JobGraph
- 4.5从 JobGraph到 ExecutionGraph
- 4.5.1 ExecutionGraphBuilder分析
- 4.5.2 ExecutionGraph分析
- 4.5.3 ExecutionJobVertex、ExecutionVertex和Execution分析
- 4.5.4 IntermediateResult、IntermediateResultPartition和ExecutionEdge
- 4.6总结
- 第5章 Flink的运行时架构
- 5.1客户端代码的运行
- 5.2高可用相关组件
- 5.2.1 EmbeddedHaServices
- 5.2.2 EmbeddedLeaderService
- 5.3派发器的初始化与启动
- 5.4资源管理器的初始化与启动
- 5.5 TaskExecutor的初始化与启动
- 5.6 JobMaster 的初始化与启动
- 5.7总结
- 第6章 任务调度
- 6.1调度器
- 6.1.1调度器的基本构成与初始化
- 6.1.2构造ExecutionGraph
- 6.2调度拓扑
- 6.3调度策略
- 6.3.1 EagerSchedulingStrategy
- 6.3.2 LazyFromSourcesSchedulingStrategy
- 6.3.3 InputDependencyConstraintChecker
- 6.4调度过程的实现
- 6.4.1开始调度
- 6.4.2更新任务状态
- 6.4.3调度或更新消费者
- 6.5任务的部署
- 6.6 Execution 对象在调度过程中的⾏为
- 6.7总结
- 第7章 任务的生命周期
- 7.1任务的提交
- 7.1.1 TaskDeploymentDescriptor
- 7.1.2 ResultPartitionDeploymentDescriptor
- 7.1.3 InputGateDeploymentDescriptor
- 7.1.4 ShuffleDescriptor
- 7.1.5 ProducerDescriptor和PartitionDescriptor
- 7.1.6 TaskDeploymentDescriptor的提交
- 7.2任务的初始化
- 7.2.1 Task的初始化
- 7.2.2 ResultPartition的初始化
- 7.2.3 InputGate的初始化
- 7.3任务的执行
- 7.3.1 StreamTask的初始化
- 7.3.2 StreamTask中的重要概念
- 7.3.3 StreamTask的实现类
- 7.3.4 StreamTask的生命周期
- 7.3.5 DataSourceTask、BatchTask和DataSinkTask
- 7.4总结
- 第8章 数据传输
- 8.1基本概念与设计思想
- 8.1.1从逻辑执行图到物理执行图
- 8.1.2用同一套模型应对批处理和流处理
- 8.1.3混洗
- 8.1.4流量控制
- 8.2数据的输出
- 8.2.1 ResultPartitionType
- 8.2.2 ResultPartitionWriter
- 8.2.3 ResultSubpartition
- 8.3数据的读取
- 8.3.1 ResultSubpartitionView
- 8.3.2 InputGate
- 8.3.3 InputChannel
- 8.4反压机制的原理
- 8.5总结
- 第9章 时间与窗口
- 9.1基本概念和设计思想
- 9.1.1从批处理到流处理
- 9.1.2数据流模型的设计思想
- 9.1.3 Flink中与窗口操作相关的核心概念
- 9.2 WindowedStream
- 9.3窗口相关模型的实现
- 9.3.1 Window类
- 9.3.2 WindowAssigner类
- 9.3.3 Trigger类
- 9.3.4 Evictor类
- 9.4 WindowOperator
- 9.5⽔位线
- 9.5.1产生水位线
- 9.5.2多个数据流传来的水位
- 9.6定时器
- 9.7总结
- 第10章 状态与容错
- 10.1基本概念与设计思想
- 10.1.1状态与容错的基本概念
- 10.1.2 Hadoop与Spark如何设计容错机制
- 10.1.3 Flink中容错机制的设计思想
- 10.1.4 Flink的状态与容错机制的核心概念
- 10.2状态存储
- 10.2.1检查点的触发
- 10.2.2栅栏的传输
- 10.2.3状态数据的更新和存储
- 10.2.4元信息的存储
- 10.3状态恢复
- 10.3.1元信息的读取
- 10.3.2状态的重分配
- 10.3.3状态数据的恢复
- 10.4状态的重分配策略
- 10.4.1操作符状态的重分配
- 10.4.2键控状态的重分配
- 10.5总结
- 第二部分 特性开发篇
- 第11章 动态调整并行度
- 11.1模型设计
- 11.1.1传统模型的局限
- 11.1.2 DS2模型的核心概念
- 11.1.3算法原理
- 11.1.4架构设计
- 11.1.5使用DS2模型的注意事项
- 11.2指标收集
- 11.3指标管理
- 11.4总结
- 第12章 自适应查询执行
- 12.1 Flink 框架下的自适应查询执行
- 12.1.1执行阶段的划分
- 12.1.2优化流程
- 12.1.3优化策略
- 12.2统计信息的收集
- 12.3执行图与调度拓扑的修改
- 12.4上下游关系的建立
- 12.5总结
- 第13章 Flink Sort-Merge Shuffle
- 13.1混洗机制的对比
- 13.2 Flink 混洗机制
- 13.3 Blink 混洗的数据流转
- 13.3.1 ExternalResultPartition
- 13.3.2 PartitionMergeFileWriter
- 13.4 Blink混洗的 Sort-Merge过程
- 13.4.1 PushedUnilateralSortMerger
- 13.4.2 NormalizedKeySorter
- 13.4.3排序线程
- 13.4.4溢写线程
- 13.4.5合并线程
- 13.5文件的读取和元信息管理
- 13.5.1 ExternalBlockResultPartitionManager
- 13.5.2 ExternalBlockResultPartitionMeta
- 13.5.3 ExternalBlockSubpartitionView
- 13.6总结
- 第14章 修改检查点的状态
- 14.1状态修改的原理
- 14.1.1状态元信息的读取
- 14.1.2状态数据的读取
- 14.2状态处理器 API
- 14.2.1数据的读取
- 14.2.2数据的写出
- 14.3总结
展开全部
Flink核心技术：源码剖析与特性开发是2022年由人民邮电出版社出版,作者黄伟哲。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Flink核心技术：源码剖析与特性开发》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。