电子书
内容简介
本书从实用角度出发，首先介绍了Flink的功能模块、运行模式、部署安装等内容，然后着重介绍了Flink中的实时处理技术和批量处理技术，接着讲解了Flink的Table与SQL、CEP机制、调优与监控、实时数据同步解析，*后通过Flink结合Kylin实现了实时数据统计的功能。本书内容全面，由浅入深，包含大量的代码示例，并提供下载服务，每章配有重要知识点串讲视频和小结，以指导读者轻松入门。 本书适合有一定编程及大数据开发经验，有数据实时处理工作需求或者想要从事相关工作的读者阅读。
章节目录
- 封面
- 前折页
- 书名页
- 版权页
- 致数字化人才的一封信
- 前言
- 目录
- 第1章 Flink及其运行模式简介
- 1.1 Flink介绍
- 1.2 Flink的特性
- 1.3 功能模块
- 1.4 编程模型
- 1.5 重新编译
- 1.6 任务提交模型
- 1.7 部署运行模式
- 1.8 本章小结
- 第2章 Flink的部署安装及入门案例
- 2.1 local模式部署安装
- 2.2 standalone模式部署安装
- 2.3 standalone模式的HA环境
- 2.4 standalone模式在HA环境下提交任务
- 2.5 Flink on YARN模式
- 2.5.1 单个YARN Session模式
- 2.5.2 多个YARN Session模式
- 2.5.3 “flink run”脚本分析
- 2.6 入门案例
- 2.6.1 实时处理程序实现
- 2.6.2 离线批量处理程序实现
- 2.7 shell命令行代码调试
- 2.7.1 批量处理代码调试
- 2.7.2 实时处理代码调试
- 2.8 本章小结
- 第3章 Flink实时处理之DataStream
- 3.1 DataStream的数据源
- 3.1.1 Socket数据源
- 3.1.2 文件数据源
- 3.1.3 从集合中获取数据
- 3.1.4 自定义数据源
- 3.2 DataStream常用算子
- 3.2.1 transformation算子
- 3.2.2 partition算子
- 3.2.3 sink算子
- 3.3 窗口和时间
- 3.3.1 窗口的类型
- 3.3.2 窗口的应用
- 3.3.3 窗口数值聚合统计
- 3.3.4 时间的类型
- 3.4 用watermark解决乱序与数据延迟问题
- 3.4.1 watermark的作用
- 3.4.2 watermark解决数据延时问题
- 3.4.3 watermark如何生成
- 3.4.4 watermark处理乱序数据
- 3.4.5 比watermark更晚的数据如何解决
- 3.4.6 多并行度的watermark机制
- 3.5 DataStream的状态保存和恢复
- 3.5.1 keyed state的托管状态
- 3.5.2 operator state的托管状态
- 3.5.3 状态管理之StateBackend
- 3.5.4 用checkpoint保存数据
- 3.5.5 用savepoint保存数据
- 3.6 DataStream集成Kafka
- 3.6.1 导入jar包
- 3.6.2 将Kafka作为Flink的source
- 3.6.3 将Kafka作为Flink的sink
- 3.7 本章小结
- 第4章 Flink批量处理之DataSet
- 4.1 DataSet的内置数据源
- 4.1.1 文件数据源
- 4.1.2 集合数据源
- 4.2 DataSet常用算子
- 4.2.1 transformation算子
- 4.2.2 partition算子
- 4.2.3 sink算子
- 4.3 DataSet的参数传递
- 4.4 DataSet连接器
- 4.4.1 文件系统连接器
- 4.4.2 Flink集成HBase之数据读取
- 4.4.3 Flink读取数据写入HBase
- 4.5 广播变量、累加器与分布式缓存
- 4.5.1 广播变量
- 4.5.2 累加器
- 4.5.3 分布式缓存
- 4.6 本章小结
- 第5章 Flink的Table与SQL
- 5.1 Table与SQL简介
- 5.2 为什么需要SQL
- 5.3 Table与SQL的语法解析
- 5.3.1 创建TableEnvironment对象
- 5.3.2 注册表
- 5.3.3 查询表
- 5.3.4 注册数据保存表
- 5.3.5 Table与SQL的数据查询执行原理
- 5.3.6 DataStream与DataSet集成
- 5.4 Table与SQL编程开发
- 5.4.1 使用SQL读取CSV文件并进行查询
- 5.4.2 DataStream与表的互相转换
- 5.4.3 DataSet与表的互相转换
- 5.4.4 SQL处理Kafka的JSON格式数据
- 5.5 本章小结
- 第6章 Flink数据去重与数据连接
- 6.1 数据去重
- 6.1.1 基于MapState实现流式去重
- 6.1.2 基于SQL实现流式去重
- 6.2 流的连接实现
- 6.2.1 使用CoGroup实现流连接
- 6.2.2 interval join机制
- 6.2.3 SQL实现连接操作
- 6.3 本章小结
- 第7章 Flink中的复杂事件处理（CEP）机制
- 7.1 CEP简介
- 7.2 CEP中的模式
- 7.2.1 个体模式（Individual Pattern）
- 7.2.2 组合模式（Combining Pattern）
- 7.2.3 模式组（Group of Patterns）
- 7.3 CEP综合案例
- 7.3.1 用户IP变换报警
- 7.3.2 高温预警
- 7.3.3 支付超时监控
- 7.4 本章小结
- 第8章 Flink调优与监控
- 8.1 监控指标
- 8.1.1 系统监控指标
- 8.1.2 自定义监控指标
- 8.2 反压机制与监控
- 8.2.1 反压线程采样
- 8.2.2 反压线程配置
- 8.3 checkpoint监控
- 8.4 checkpoint调优
- 8.4.1 如何衡量checkpoint的速度大小
- 8.4.2 相邻checkpoint的间隔时间设置
- 8.4.3 checkpoint资源设置
- 8.4.4 checkpoint的Task本地性恢复
- 8.4.5 异步checkpoint设置
- 8.4.6 checkpoint数据压缩
- 8.5 内存管理调优
- 8.5.1 内存托管
- 8.5.2 内存段管理
- 8.5.3 内存段与字节缓冲区
- 8.5.4 内存段对垃圾收集器的影响
- 8.5.5 内存配置
- 8.5.6 堆外内存
- 8.6 本章小结
- 第9章 基于Flink实现实时数据同步解析
- 9.1 实时数仓架构
- 9.2 MySQL数据实时同步
- 9.2.1 MySQL的binlog介绍
- 9.2.2 maxwell简介
- 9.2.3 开启MySQL的binlog功能
- 9.2.4 安装maxwell实现实时采集MySQL数据
- 9.2.5 启动服务
- 9.2.6 插入数据并进行测试
- 9.3 数据库建表
- 9.4 开发模拟数据生成模块
- 9.4.1 创建Maven工程并导入jar包
- 9.4.2 开发Flink程序批量导入商品表数据
- 9.4.3 开发订单生成程序模拟订单持续生成
- 9.5 数据获取模块开发
- 9.5.1 全量拉取数据
- 9.5.2 增量拉取数据
- 9.6 本章小结
- 第10章 基于Kylin的实时数据统计
- 10.1 Kylin简介
- 10.1.1 为什么要使用Kylin
- 10.1.2 Kylin的使用场景
- 10.1.3 Kylin如何解决海量数据的查询问题
- 10.2 Kylin基础知识
- 10.2.1 数据仓库、OLAP、BI
- 10.2.2 事实表与维度表
- 10.2.3 维度与度量
- 10.2.4 数据仓库常用建模方式
- 10.2.5 数据立方体
- 10.2.6 Kylin的工作原理
- 10.2.7 Kylin的体系架构
- 10.2.8 Kylin的特点
- 10.3 Kylin环境搭建
- 10.3.1 单机模式安装
- 10.3.2 集群环境搭建
- 10.4 Kylin的使用
- 10.4.1 创建Hive数据
- 10.4.2 创建Kylin工程
- 10.4.3 为Kylin添加模型
- 10.4.4 通过Kylin来构建Cube
- 10.4.5 构建Cube
- 10.4.6 数据查询分析
- 10.5 Kylin的构建流程
- 10.6 Cube构建算法
- 10.6.1 逐层构建法
- 10.6.2 快速构建法
- 10.7 Cube构建的优化
- 10.7.1 使用衍生维度（Derived Dimension）
- 10.7.2 使用聚合组（Aggregation Group）
- 10.7.3 并发粒度优化
- 10.7.4 rowKey优化
- 10.7.5 增量Cube构建
- 10.8 备份以及恢复Kylin的元数据
- 10.9 Kylin的垃圾清理
- 10.10 BI工具集成
- 10.11 使用Kylin分析HBase数据
- 10.12 本章小结
- 后折页
- 封底
展开全部
Flink与Kylin深度实践是2020年由机械工业出版社出版,作者开课吧 组编 王超 李沙 编著。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Flink与Kylin深度实践》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
