Kafka入门与实践

Kafka入门与实践

查阅电子书
手机扫码
  • 微信扫一扫

    关注微信公众号

编辑推荐

本书适合应用Kafka的专业技术人员阅读,包括但不限于大数据相关应用的开发者、运维者和爱好者。

内容简介

《Kafka入门与实践》以Kafka 0.10.1.1版本以基础,对Kafka的基本组件的实现细节及其基本应用进行了详细介绍,同时,通过对Kafka与当前大数据主流框架整合应用案例的讲解,进一步展现了Kafka在实际业务中的作用和地位。本书共10章,按照从抽象到具体、从点到线再到面的学习思维模式,由浅入深,理论与实践相结合,对Kafka进行了分析讲解。

《Kafka入门与实践》中的大量实例来源于作者在实际工作中的实践,具有现实指导意义。相信读者阅读完本书之后,能够全面掌握Kafka的基本实现原理及其基本操作,能够根据书中的案例举一反三,解决实际工作和学习中的问题。此外,在阅读本书时,读者可以根据本书对Kafka理论的分析,再结合Kafka源码进行定位学习,了解Kafka的设计和思想以及更多的编码技巧。

《Kafka入门与实践》适合应用Kafka的专业技术人员阅读,包括但不限于大数据相关应用的***、运维者和爱好者,也适合高等院校、培训结构相关专业的师生使用。

作者简介

作者牟大恩,武汉大学硕士,曾先后在网易杭州研究院、掌门科技、优酷土豆集团担任高级开发工程师和资深开发工程师职务,目前就职于海通证券总部。有多年的Java开发及系统设计经验,专注于互联网金融及大数据应用相关领域。

章节目录

版权信息

内容提要

前言

第1章 Kafka简介

1.1 Kafka背景

1.2 Kafka基本结构

1.3 Kafka基本概念

1.4 Kafka设计概述

1.4.1 Kafka设计动机

1.4.2 Kafka特性

1.4.3 Kafka应用场景

1.5 本书导读

1.6 小结

第2章 Kafka安装配置

2.1 基础环境配置

2.1.1 JDK安装配置

2.1.2 SSH安装配置

2.1.3 ZooKeeper环境

2.2 Kafka单机环境部署

2.2.1 Windows环境安装Kafka

2.2.2 Linux环境安装Kafka

2.3 Kafka伪分布式环境部署

2.4 Kafka集群环境部署

2.5 Kafka Manager安装

2.6 Kafka源码编译

2.6.1 Scala安装配置

2.6.2 Gradle安装配置

2.6.3 Kafka源码编译

2.6.4 Kafka导入Eclipse

2.7 小结

第3章 Kafka核心组件

3.1 延迟操作组件

3.1.1 DelayedOperation

3.1.2 DelayedOperationPurgatory

3.1.3 DelayedProduce

3.1.4 DelayedFetch

3.1.5 DelayedJoin

3.1.6 DelayedHeartbeat

3.1.7 DelayedCreateTopics

3.2 控制器

3.2.1 控制器初始化

3.2.2 控制器选举过程

3.2.3 故障转移

3.2.4 代理上线与下线

3.2.5 主题管理

3.2.6 分区管理

3.3 协调器

3.3.1 消费者协调器

3.3.2 组协调器

3.4 网络通信服务

3.4.1 Acceptor

3.4.2 Processor

3.4.3 RequestChannel

3.4.4 SocketServer启动过程

3.5 日志管理器

3.5.1 Kafka日志结构

3.5.2 日志管理器启动过程

3.5.3 日志加载及恢复

3.5.4 日志清理

3.6 副本管理器

3.6.1 分区

3.6.2 副本

3.6.3 副本管理器启动过程

3.6.4 副本过期检查

3.6.5 追加消息

3.6.6 拉取消息

3.6.7 副本同步过程

3.6.8 副本角色转换

3.6.9 关闭副本

3.7 Handler

3.8 动态配置管理器

3.9 代理健康检测

3.10 Kafka内部监控

3.11 小结

第4章 Kafka核心流程分析

4.1 KafkaServer启动流程分析

4.2 创建主题流程分析

4.2.1 客户端创建主题

4.2.2 分区副本分配

4.3 生产者

4.3.1 Eclipse运行生产者源码

4.3.2 生产者重要配置说明

4.3.3 OldProducer执行流程

4.3.4 KafkaProducer实现原理

4.4 消费者

4.4.1 旧版消费者

4.4.2 KafkaConsumer初始化

4.4.3 消费订阅

4.4.4 消费消息

4.4.5 消费偏移量提交

4.4.6 心跳探测

4.4.7 分区数与消费者线程的关系

4.4.8 消费者平衡过程

4.5 小结

第5章 Kafka基本操作实战

5.1 KafkaServer管理

5.1.1 启动Kafka单个节点

5.1.2 启动Kafka集群

5.1.3 关闭Kafka单个节点

5.1.4 关闭Kafka集群

5.2 主题管理

5.2.1 创建主题

5.2.2 删除主题

5.2.3 查看主题

5.2.4 修改主题

5.3 生产者基本操作

5.3.1 启动生产者

5.3.2 创建主题

5.3.3 查看消息

5.3.4 生产者性能测试工具

5.4 消费者基本操作

5.4.1 消费消息

5.4.2 单播与多播

5.4.3 查看消费偏移量

5.4.4 消费者性能测试工具

5.5 配置管理

5.5.1 主题级别配置

5.5.2 代理级别设置

5.5.3 客户端/用户级别配置

5.6 分区操作

5.6.1 分区Leader平衡

5.6.2 分区迁移

5.6.3 增加分区

5.6.4 增加副本

5.7 连接器基本操作

5.7.1 独立模式

5.7.2 REST风格API应用

5.7.3 分布式模式

5.8 Kafka Manager应用

5.9 Kafka安全机制

5.9.1 利用SASL/PLAIN进行身份认证

5.9.2 权限控制

5.10 镜像操作

5.11 小结

第6章 Kafka API编程实战

6.1 主题管理

6.1.1 创建主题

6.1.2 修改主题级别配置

6.1.3 增加分区

6.1.4 分区副本重分配

6.1.5 删除主题

6.2 生产者API应用

6.2.1 单线程生产者

6.2.2 多线程生产者

6.3 消费者API应用

6.3.1 旧版消费者API应用

6.3.2 新版消费者API应用

6.4 自定义组件实现

6.4.1 分区器

6.4.2 序列化与反序列化

6.5 Spring与Kafka整合应用

6.5.1 生产者

6.5.2 消费者

6.6 小结

第7章 Kafka Streams

7.1 Kafka Streams简介

7.2 Kafka Streams基本概念

7.2.1 流

7.2.2 流处理器

7.2.3 处理器拓扑

7.2.4 时间

7.2.5 状态

7.2.6 KStream和KTable

7.2.7 窗口

7.3 Kafka Streams API介绍

7.3.1 KStream与KTable

7.3.2 窗口操作

7.3.3 连接操作

7.3.4 变换操作

7.3.5 聚合操作

7.4 接口恶意访问自动检测

7.4.1 应用描述

7.4.2 具体实现

7.5 小结

第8章 Kafka数据采集应用

8.1 Log4j集成Kafka应用

8.1.1 应用描述

8.1.2 具体实现

8.2 Kafka与Flume整合应用

8.2.1 Flume简介

8.2.2 Flume与Kafka比较

8.2.3 Flume的安装配置

8.2.4 Flume采集日志写入Kafka

8.3 Kafka与Flume和HDFS整合应用

8.3.1 Hadoop安装配置

8.3.2 Flume采集Kafka消息写入HDFS

8.4 小结

第9章 Kafka与ELK整合应用

9.1 ELK环境搭建

9.1.1 Elasticsearch安装配置

9.1.2 Logstash安装配置

9.1.3 Kibana安装配置

9.2 Kafka与Logstash整合

9.2.1 Logstash收集日志到Kafka

9.2.2 Logstash从Kafka消费日志

9.3 日志采集分析系统

9.3.1 Flume采集日志配置

9.3.2 Logstash拉取日志配置

9.3.3 Kibana日志展示

9.4 服务器性能监控系统

9.4.1 Metricbeat安装

9.4.2 采集信息存储到Elasticsearch

9.4.3 加载beats-dashboards

9.4.4 服务器性能监控系统具体实现

9.5 小结

第10章 Kafka与Spark整合应用

10.1 Spark简介

10.2 Spark基本操作

10.2.1 Spark安装

10.2.2 Spark shell应用

10.2.3 spark-submit提交作业

10.3 Spark在智能投顾领域应用

10.3.1 应用描述

10.3.2 具体实现

10.4 热搜词统计

10.4.1 应用描述

10.4.2 具体实现

10.5 小结

欢迎来到异步社区!

异步社区的来历

社区里都有什么?

灵活优惠的购书

社区里还可以做什么?

加入异步

Kafka入门与实践是2017年由人民邮电出版社出版,作者牟大恩。

得书感谢您对《Kafka入门与实践》关注和支持,如本书内容有不良信息或侵权等情形的,请联系本网站。

你可能喜欢
大数据分析与挖掘 电子书
数据科学与大数据技术专业系列规划教材。强调概念+算法实践,让你“小数据”上会“算”,“大数据”上“算得快”。
pandas数据处理与分析 电子书
本书以Python中的pandas库为主线,介绍各类数据处理与分析方法。
Power BI商业数据分析与可视化 电子书
系统介绍商业数据分析与可视化的主要内容及常用的分析方法。
Spark海量数据处理:技术详解与平台实战 电子书
在数字经济时代,数据是重要的资源要素;同时,新的数据又在源源不断地产生,企业面临的一个基本问题就是如何管理和利用这些数据,这对传统的数据处理方法与分析框架提出了新的诉求和挑战,也是全球业界与学界为关心的问题。为了满足大数据时代对信息的快速处理的需求,一个分布式的开源计算框架Apache Spark应运而生。经过十年的发展,Spark已经成为目前大数据处理的标杆,在整个业界得到了广泛的使用。对大数据工程师来说,用Spark构建数据管道无疑是很好的选择,而对数据科学家来说,Spark也是高效的数据探索工具。 本书基于Spark发行版2.4.4写作而成,包含大量的实例与一个完整项目,技术理论与实战相结合,层次分明,循序渐进。本书不仅介绍了如何开发Spark应用的基础内容,包括Spark架构、Spark编程、SparkSQL、Spark调优等,还探讨了Structured Streaming、Spark机器学习、Spark图挖掘、Spark深度学习、Alluxio系统等高级主题,同时完整实现了一个企业背景调查系统,借鉴了数据湖与Lambda架构的思想,涵盖了批处理、流处理应用开发,并加入了一些开源组件来满足业务需求。学习该系统可以使读者从实战中巩固所学,并将技术理论与应用实战融会贯通。 本书适合准备学习Spark的开发人员和数据分析师,以及准备将Spark应用到实际项目中的开发人员和管理人员阅读,也适合计算机相关专业的高年级本科生和研究生学习和参考,对于具有一定的Spark使用经验并想进一步提升的数据科学从业者也是很好的参考资料。
PowerBI商务智能数据分析 电子书
一本教你用Microsoft Power BI分析处理经营业务数据的教程。