类似推荐
内容简介
《Storm源码分析》从源代码的角度详细分析了Storm的设计与实现，共分为三个部分，首先介绍了Storm的基本原理以及Storm集群系统的搭建方法，第 二部分深入剖析了Storm的底层架构，如Nimbus、Supervisor、Worker以及Task，第三部分系统讨论了Storm如何实现可靠的消息传输，如TransactionTopology以及Trident。
《Storm源码分析》适用于程序员、架构师以及计算机专业的学生。
章节目录
- 扉页
- 版权
- 专家推荐
- 前言
- 目录
- 第1 章 总体架构与代码结构
- 1.1 Storm的总体结构
- 1.2 Storm的元数据
- 1.2.1 元数据介绍
- 1.2.2 Storm怎么使用这些元数据
- 1.3 Storm的代码结构
- 1.3.1 Clojure代码
- 1.3.2 Java代码
- 1.3.3 Trident代码
- 1.3.4 其他代码
- 第2 章 搭建Storm 集群
- 2.1 搭建单机Storm集群
- 2.2 搭建多机Storm集群
- 2.2.1 设置环境
- 2.2.2 启动Storm集群
- 2.2.3 提交Topology
- 2.3 WordCountOrDurationTopology介绍
- 2.3.1 RandomSentenceSpout
- 2.3.2 SplitSentence
- 2.3.3 WordCountOrDuration
- 2.3.4 WordCountOrDurationTopology构建
- 第3 章 Storm 编程基础
- 3.1 Fields定义
- 3.2 Tuple接口
- 3.3 常用声明接口
- 3.3.1 配置声明接口
- 3.3.2 输入声明接口
- 3.3.3 输出字段声明接口
- 3.3.4 组件声明接口
- 3.4 Spout输出收集器
- 3.4.1 ISpoutOutputCollector和SpoutOutputCollector
- 3.4.2 Executor中ISpoutOutputCollector的实现
- 3.5 Bolt输出收集器
- 3.5.1 IOutputCollector和OutputCollector
- 3.5.2 IBasicOutputCollector和BasicOutputCollector
- 3.5.3 BatchOutputCollector和BatchOutputCollectorImpl
- 3.5.4 Executor中的IOutputCollector实现
- 3.6 组件接口
- 3.7 Spout接口
- 3.7.1 ISpout
- 3.7.2 IRichSpout
- 3.8 Bolt接口
- 3.8.1 IBolt
- 3.8.2 IRichBolt
- 3.8.3 IBasicBolt
- 3.8.4 IBatchBolt
- 3.8.5 小结
- 3.9 Storm数据结构
- 3.9.1 GlobalStreamId
- 3.9.2 消息分组方式
- 3.9.3 StreamInfo
- 3.9.4 ShellComponent
- 3.9.5 ComponentObject
- 3.9.6 ComponentCommon
- 3.9.7 SpoutSpec
- 3.9.8 Bolt
- 3.9.9 StormTopology
- 3.9.10 TopologySummary
- 3.9.11 SupervisorSummary
- 3.9.12 ClusterSummary
- 3.9.13 BoltStats
- 3.9.14 SpoutStats
- 3.9.15 统计信息
- 3.9.16 DRPC
- 3.10 基本Topology构建器
- 3.10.1 TopologyBuilder
- 3.10.2 ConfigGetter
- 3.10.3 SpoutGetter和BoltGetter
- 3.10.4 一个简单例子
- 3.11 异常处理
- 第4 章 基础函数和工具类
- 4.1 计时器
- 4.1.1 mk-timer
- 4.1.2 check-active!
- 4.1.3 schedule
- 4.1.4 schedule-recurring
- 4.1.5 cancel-timer
- 4.2 async-loop
- 4.3 event-manager
- 4.4 even-sampler
- 4.5 ZooKeeper工具类
- 4.5.1 mk-client
- 4.5.2 create-node
- 4.5.3 get-data
- 4.5.4 进程内启动ZooKeeper
- 4.6 LocalState
- 4.7 ClusterState
- 4.8 StormClusterState
- 第5 章 通信机制
- 5.1 进程间通信
- 5.1.1 进程间通信协议
- 5.1.2 LocalCluster模式实现
- 5.1.3 分布式模式实现
- 5.1.4 协议使用
- 5.2 进程内通信
- 5.2.1 Disruptor Queue的使用
- 5.2.2 DisruptorQueue的Clojure处理器
- 第6 章 Nimbus
- 6.1 Nimbus服务接口定义
- 6.2 Nimbus相关的数据结构
- 6.2.1 Java 数据结构
- 6.2.2 Clojure数据结构
- 6.3 Nimbus中的线程介绍
- 6.3.1 mk-assignments
- 6.3.2 do-cleanup
- 6.3.3 clean-inbox
- 6.4 Topology状态转移
- 6.4.1 transition-name!
- 6.4.2 transition!
- 6.4.3 state-transitions
- 6.5 启动Nimbus服务
- 6.5.1 launch-server!
- 6.5.2 service-handler
- 6.6 关闭Nimbus服务
- 6.7 主要服务方法
- 6.7.1 submitTopology
- 6.7.2 kill、rebalance、activate、deactivate 方法
- 6.7.3 文件上传与下载
- 6.7.4 获取UI所需的信息
- 6.7.3 获取Topology
- 6.7.6 获取Storm配置项
- 6.8 主要辅助方法
- 6.8.1 system-topology!
- 6.8.2 normalize-topology
- 6.8.3 compute-new-topology->executor->node+port
- 6.8.4 compute-executors
- 第7 章 Scheduler
- 7.1 IScheduler接口
- 7.2 EvenScheduler
- 7.2.1 schedule-topolpgies-evenly
- 7.2.2 schedule-topology
- 7.2.3 get-alive-assigned-node+port->executors
- 7.2.4 sort-slots
- 7.3 DefaultScheduler
- 7.3.1 default-schedule
- 7.3.2 slots-can-reassign
- 7.3.3 bad-slots
- 7.4 IsolationScheduler
- 7.5 调度示例
- 7.5.1 EvenScheduler和DefaultScheduler
- 7.5.2 IsolationScheduler
- 第8 章 Scheduler
- 8.1 与Supervisor相关的数据结构
- 8.1.1 standalone-supervisor
- 8.1.2 Supervisor的数据
- 8.1.3 本地存储数据
- 8.2 Supervisor中的线程
- 8.2.1 计时器线程
- 8.2.2 同步Nimbus任务的线程
- 8.2.3 管理Worker进程的线程
- 8.3 启动Supervisor
- 8.4 关闭Supervisor
- 8.5 重要方法介绍
- 8.5.1 launch-worker
- 8.5.2 read-allocated-workers
- 8.5.3 wait-for-worker-launch
- 8.5.4 shutdown-worker
- 8.5.5 download-storm-code
- 第9 章 Worker
- 9.1 Worker中的数据
- 9.2 Worker中的计时器
- 9.2.1 Worker的心跳
- 9.2.2 Executor的心跳
- 9.2.3 Worker中对ZMQ连接的维护
- 9.2.4 从ZooKeeper获取Topology的活跃情况
- 9.2.5 小结
- 9.3 创建Worker
- 9.4 关闭Worker
- 9.5 重要辅助方法介绍
- 9.5.1 Worker中的接收函数
- 9.5.2 Worker中的发送函数
- 9.5.3 获取属于Worker的Executor
- 9.5.4 创建Executor的接收消息队列和查找表
- 9.5.5 下载Topology的配置项以及代码
- 9.6 小结
- 第10 章 Executor
- 10.1 Executor的数据
- 10.2 Executor的输入和输出
- 10.2.1 Executor的输入及处理
- 10.2.2 Executor的输出及发送
- 10.3 Spout类型的Executor
- 10.3.1 准备消息循环的数据
- 10.3.2 Spout输入处理函数
- 10.3.3 Spout消息发送函数
- 10.3.4 Spout对象的初始化
- 10.3.5 消息循环
- 10.4 Bolt类型的Executor
- 10.4.1 准备消息循环的数据
- 10.4.2 Bolt输入处理函数
- 10.4.3 Bolt的消息发送函数
- 10.4.4 Bolt对象的初始化
- 10.4.5 消息循环
- 10.5 创建Executor
- 10.6 辅助函数介绍
- 10.6.1 组件的Grouper函数
- 10.6.2 带流量控制的错误报告方法
- 10.6.3 触发系统Ticks
- 10.7 小结
- 第11 章 Task
- 11.1 Task的上下文对象
- 11.1.1 TopologyContext
- 11.1.2 GeneralTopologyContext
- 11.1.3 WorkerTopologyContext
- 11.1.4 TopologyContext
- 11.2 创建Task数据
- 11.3 mk-tasks-fn函数
- 11.4 send-unanchored
- 11.5 创建Task
- 11.6 Storm中传输的消息以及序列化
- 第12 章 Storm 的Ack 框架
- 12.1 Acker Bolt的实现分析
- 12.2 启动消息跟踪
- 12.3 消息跟踪
- 12.4 Ack机制的例子
- 第13 章 系统运行统计
- 13.1 基础数据结构以及更新算法
- 13.1.1 滑动窗口的数据结构
- 13.1.2 滑动窗口的回调函数
- 13.1.3 滑动窗口集合的类型
- 13.2 Storm中的统计信息
- 13.2.1 Stats中定义的统计类别
- 13.2.2 运行统计的更新
- 13.2.3 运行统计的更新时间点
- 13.2.4 获取统计数据
- 13.3 运行统计的Thrift结构
- 第14 章 系统运行统计的另一种实现
- 14.1 内置统计信息的计算
- 14.1.1 MultiCountMetric
- 14.1.2 MultiReducedMetric
- 14.2 内置统计类型
- 14.2.1 Spout类型的内置统计
- 14.2.2 Bolt类型的内置统计
- 14.3 统计触发消息
- 14.3.1 注册统计信息
- 14.3.2 触发消息的产生与发送
- 14.3.3 处理统计触发消息
- 14.4 运行统计收集节点
- 14.5 SystemBolt
- 第15 章 事务Topology 的实现
- 15.1 事务Topology的实现概述
- 15.1.1 事务Topology的类型
- 15.1.2 事务Topology的类关系
- 15.2 ITransactionalSpout接口
- 15.3 协调Spout节点的执行器
- 15.3.1 ZooKeeper客户端工具
- 15.3.2 协调Spout的执行器
- 15.3.3 消息发送Bolt的执行器
- 15.4 CoordinatedBolt的实现分析
- 15.4.1 TrackingInfo
- 15.4.2 CoordinatedOutputCollector
- 15.4.3 CoordinatedBolt中的消息类型
- 15.4.4 成员变量以及主要方法分析
- 15.5 分区的事务类型
- 15.5.1 分区的事务Spout接口
- 15.5.2 分区的事务Spout的执行器
- 15.6 分区的模糊事务Spout
- 15.6.1 分区的模糊事务Spout的接口
- 15.6.2 模糊的事务Spout执行器
- 15.7 事务Topology的构建器
- 15.7.1 构建器的构造函数及成员变量
- 15.7.2 设置Bolt对象
- 15.7.3 构建Topology
- 15.7.4 输入流声明器
- 第16 章 事务Topology 示例
- 16.1 例子代码
- 16.1.1 分区的事务Spout
- 16.1.2 局部计数Bolt的实现
- 16.1.3 全局计数Bolt的实现
- 16.2 构建Topology
- 16.3 事务处理示例
- 第17 章 Trident 的Spout 节点
- 17.1 ITridentSpout接口
- 17.1.1 BatchCoordinator接口
- 17.1.2 TridentSpoutCoordinator
- 17.1.3 MasterBatchCoordinator
- 17.1.4 消息发送节点接口
- 17.1.5 消息发送接口的执行器
- 17.2 适配IRichSpout接口
- 17.3 适配IBatchSpout接口
- 17.4 Trident中分区的Spout类型
- 17.4.1 分区Spout接口
- 17.4.2 分区Spout的执行器
- 17.5 模糊事务类型的Spout节点
- 17.5.1 模糊事务类型的Spout接口
- 17.5.2 模糊事务类型Spout的执行器
- 17.6 构建Spout节点
- 17.6.1 TridentTopology的newStream调用
- 17.6.2 TridentTopology中newDRPCStream调用
- 第18 章 Trident 的存储
- 18.1 存储的基本接口
- 18.2 MapState接口的实现
- 18.2.1 非事务类型的存储
- 18.2.2 事务类型的存储
- 18.2.3 模糊事务类型存储
- 18.3 值的序列化方法
- 18.4 数据更新接口
- 18.4.1 CombinerValueUpdater
- 18.4.2 ReducerValueUpdater
- 18.5 存储更新接口
- 18.5.1 ReducerAggStateUpdater
- 18.5.2 MapReducerAggStateUpdater
- 18.5.3 BaseStateUpdater
- 18.6 创建存储对象
- 第19 章 Trident 消息
- 19.1 ValuePointer
- 19.2 Factory接口及其实现
- 19.2.1 ProjectionFactory
- 19.2.2 FreshOutputFactory
- 19.2.3 OperationOutputFactory
- 19.2.4 RootFactory
- 19.3 消息工厂的例子
- 19.4 TridentTupleView
- 19.5 ComboList
- 第20 章 Trident 操作与处理节点
- 20.1 操作的基本接口
- 20.2 Aggregator实现
- 20.2.1 GroupedAggregator
- 20.2.2 ChainedAggregatorImpl
- 20.2.3 SingleEmitAggregator
- 20.3 用户接口及其实现
- 20.3.1 ReducerAggregator接口及其实现
- 20.3.2 CombinerAggregator接口及其实现
- 20.4 所有处理节点的上下文
- 20.4.1 单个处理节点的上下文
- 20.4.2 操作执行的上下文
- 20.5 Trident的输出收集器
- 20.5.1 FreshCollector
- 20.5.2 CaptureCollector
- 20.5.3 GroupCollector
- 20.5.4 AppendCollector
- 20.5.5 AddIdCollector
- 20.6 Trident的处理节点
- 20.6.1 TridentProcessor接口
- 20.6.2 PartitionPersistProcessor
- 20.6.3 StateQueryProcessor
- 20.7 聚集器的执行
- 第21 章 Trident 流的基本操作
- 21.1 流的成员变量和基础方法
- 21.1.1 流的成员变量
- 21.1.2 流节点名字
- 21.1.3 流的映射检查
- 21.1.4 添加节点
- 21.2 流映射操作
- 21.3 流的分组操作
- 21.4 流的逐行操作
- 21.5 流的分区操作
- 21.6 流的单聚集器聚集操作
- 21.7 流的多聚集器聚集操作
- 21.7.1 ChainedAggregatorDeclarer
- 21.7.2 分区上的局部聚集操作
- 21.7.3 全局聚集操作
- 21.7.4 含有多个聚集器的partitionAggregate操作
- 21.8 流的聚集操作
- 21.9 流的分区写入操作
- 21.10 查询操作
- 21.11 流的全局写入操作
- 21.12 流的操作与有向图构建
- 21.13 分组流
- 21.13.1 成员变量
- 21.13.2 逐行操作
- 21.13.3 分组流的分区聚集操作
- 21.13.4 查询操作
- 21.13.5 聚集操作
- 21.13.6 写入操作
- 21.14 利用流操作来构建Topology的例子
- 第22 章 Trident 中流的交互操作
- 22.1 基本接口
- 22.2 JoinerMultiReducer
- 22.2.1 成员变量及构造函数
- 22.2.2 execute方法
- 22.2.3 complete方法
- 22.3 GroupedMultiReducerExecutor
- 22.4 MultiReducerProcessor
- 22.5 连接操作
- 22.6 流合并操作
- 第23 章 Trident 中的Bolt 节点
- 23.1 SubTopologyBolt
- 23.1.1 输入准备
- 23.1.2 成员变量
- 23.1.3 主要方法
- 23.2 Trident中的Bolt执行器
- 23.2.1 ITridentBatchBolt接口
- 23.2.2 TrackedBatch
- 23.2.3 定制的输出收集器
- 23.2.4 消息类型
- 23.2.5 数据成员分析
- 23.2.6 主要成员方法分析
- 第24 章 Trident 的执行优化
- 24.1 节点类型
- 24.1.1 基本节点类型
- 24.1.2 Spout节点
- 24.1.3 处理节点
- 24.1.4 分区节点
- 24.2 执行优化算法
- 24.2.1 节点组
- 24.2.2 节点组的合并算法
- 24.2.3 处理节点组中的分区节点
- 24.2.4 节点组以不同的方式收听相同流
- 24.2.5 执行优化后的节点组
- 24.2.6 计算节点组的并行度
- 第25 章 Trident 与DRPC
- 25.1 DRPC服务器
- 25.1.1 DRPC服务器的成员变量
- 25.1.2 DRPC用户接口及其实现
- 25.1.3 DRPC Topology端接口及其实现
- 25.1.4 启动DRPC服务器
- 25.2 DRPC的客户端
- 25.3 DRPC中Spout节点
- 25.4 DRPC Spout的执行器
- 25.5 completeDRPC操作
- 25.6 返回DRPC结果
- 第26 章 Trident 的Topology 构建器
- 26.1 基本工具函数
- 26.1.1 committerBatches
- 26.1.2 fleshOutStreamBatchIds
- 26.1.3 getOutputStreamBatchGroups
- 26.2 TridentTopologyBuilder
- 26.2.1 成员变量
- 26.2.2 设置Spout节点
- 26.2.3 设置Bolt节点
- 26.3 一个例子
- 第27 章 多语言
- 27.1 ShellProcess
- 27.2 ShellBolt
- 27.2.1 成员变量
- 27.2.2 读写线程
- 27.3 ShellSpout
- 第28 章 Storm 中的配置项
展开全部
Storm源码分析是2014年由人民邮电出版社出版,作者编著。
版权说明：本电子书已获得正版授权，由出版社通过知传链发行。
得书感谢您对《Storm源码分析》关注和支持，如本书内容有不良信息或侵权等情形的，请联系本网站。
