首页
登录 | 注册

理解Storm Metrics

在hadoop中,存在对应的counter计数器用于记录hadoop map/reduce job任务执行过程中自定义的一些计数器,其中hadoop任务中已经内置了一些计数器,例如CPU时间,GC时间等。
 
Storm中也存在类似counter的功能,metrics,详细介绍可以参考下面的文档:
 
 
 
Storm exposes a metrics interface to report summary statistics across the full topology. It's used internally to track the numbers you see in the Nimbus UI console: counts of executes and acks; average process latency per bolt; worker heap usage; and so forth.
 
 
 
所有的Metric都需要实现IMetric接口,该接口中只有一个方法用来表示取出现有的counter值,并将其清零。
 
 
public interface IMetric {
    public Object getValueAndReset();
}
 
 
 
以提供的实例CountMetric, MultiCountMetric和ReduceMetric为例,类图方式展示如下:
 
 

理解Storm Metrics

 
 
在CountMetric中,只是记录了一个long值,在每次incr和incrBy时进行递增记录;
 
MultiCountMetric中,其中内置了Map<String, CountMetric>用来记录多个CountMetric,scope方法用来以key的方式圈定范围,在每次getValueAndSet时,都会直接清掉Map中所有的CountMetric;
 
ReducedMetric是比较特殊的一个,因为它不仅仅记录了一个维度,还可以以reduce的方式来计算一段时间来的平均值,比如Storm中提供的实现MeanReducer,在ReducedMetric中的实现,其中_accumlator作为累积数据(从字面意思上理解),类型为Object,可以用任何类型来表示:
 
 
public class ReducedMetric implements IMetric {
    private final IReducer _reducer;
    private Object _accumulator;
 
    public ReducedMetric(IReducer reducer) {
        _reducer = reducer;
        _accumulator = _reducer.init();
    }
 
    public void update(Object value) {
        _accumulator = _reducer.reduce(_accumulator, value);
    }
 
    public Object getValueAndReset() {
        Object ret = _reducer.extractResult(_accumulator);
        _accumulator = _reducer.init();
        return ret;
    }
}
 
 
 
MeanReducer中,就记录两个维度 count和总和,通过这两个维度,我们可以轻易计算出一段时间内的平均值。
 
 
class MeanReducerState {
    public int count = 0;
    public double sum = 0.0;
}

public class MeanReducer implements IReducer<MeanReducerState> {
    public MeanReducerState init() {
        return new MeanReducerState();
    }
 
    public MeanReducerState reduce(MeanReducerState acc, Object input) {
        acc.count++;
        if(input instanceof Double) {
            acc.sum += (Double)input;
        } else if(input instanceof Long) {
            acc.sum += ((Long)input).doubleValue();
        } else if(input instanceof Integer) {
            acc.sum += ((Integer)input).doubleValue();
        } else {
            throw new RuntimeException(
                "MeanReducer::reduce called with unsupported input type `" + input.getClass()
                + "`. Supported types are Double, Long, Integer.");
        }
        return acc;
    }
 
    public Object extractResult(MeanReducerState acc) {
        if(acc.count > 0) {
            return acc.sum / (double) acc.count;
        } else {
            return null;
        }
    }
}
 
 
 
所有的Metrics都需要在Spout/Bolt初始化之前记录,对应Spout.open(), Bolt.prepare方法,注册时需要指定指标的名称,对应实例,以及间隔时间(以秒为单位)。
 
 
context.registerMetric("execute_count", countMetric, 5);
context.registerMetric("word_count", wordCountMetric, 60);
context.registerMetric("word_length", wordLengthMeanMetric, 60);
 
 
 
 

IMetricsConsumer

 

注册metrics后,只是在定时进行记录metrics,但metrics该如何显示,这就取决于IMetricsConsumer,在Config中可以手动进行注册自定义的metricsConsumer,也可以直接使用storm中提供的记录日志的LoggingMetricsConsumer,该consumer会以日志的形式记录统计指标,下面是对其介绍:
 
 
Listens for all metrics, dumps them to log To use, add this to your topology's configuration: ```java conf.registerMetricsConsumer(org.apache.storm.metrics.LoggingMetricsConsumer.class, 1); ``` Or edit the storm.yaml config file: ```yaml topology.metrics.consumer.register: - class: "org.apache.storm.metrics.LoggingMetricsConsumer" parallelism.hint: 1
  
 
这表示,在config中可以通过手动注册的方式将LoggingMetricsConsumer注册上去,第二个参数为并行度:
 
 
config.registerMetricsConsumer(LoggingMetricsConsumer.class, 2);
  
 
此时Config对象(类似HashMap)会将topology.metrics.consumer.register属性注册,记录其class, parallelism.hint并行度,以及argument参数。
 


理解Storm Metrics

 
 
 
在Config中注册后,通过内置的特殊Bolt:MetricConsumerBolt来执行handleDataPoints方法,其中handleDataPoints赋给的两个参数taskInfo, dataPoints如下所示,给定了source task的一些状态,以及传输过来的汇总数据:
 

理解Storm Metrics

 
 
在应用后,就可以在storm的日志目录下查看到metrics日志文件:
 
/usr/local/apache-storm-1.0.1/logs/workers-artifacts/FirstTopo-46-1468485056/6703
 
-rw-rw-r-- 1 java java  55K 7月  14 18:47 gc.log.0
-rw-rw-r-- 1 java java  28K 7月  14 18:47 worker.log
-rw-rw-r-- 1 java java    0 7月  14 16:31 worker.log.err
-rw-rw-r-- 1 java java 1.2M 7月  14 18:47 worker.log.metrics
-rw-rw-r-- 1 java java    0 7月  14 16:31 worker.log.out
-rw-rw-r-- 1 java java    5 7月  14 16:31 worker.pid
-rw-rw-r-- 1 java java  120 7月  14 16:31 worker.yaml
 
 
 
 
在worker.log.metrics中就可以查看到所有metrics的相关信息,注意不仅仅包含我们自定义的bolt类型,一些system类型的信息也会在上面显示出来:
 
 
2016-07-14 16:31:40,700 31721    1468485098       192.168.1.127:6702      6:bolt        execute_count           5
2016-07-14 16:31:45,702 36723    1468485103       192.168.1.127:6702      6:bolt        execute_count           5
2016-07-14 16:31:50,702 41723    1468485108       192.168.1.127:6702      6:bolt        execute_count           5
2016-07-14 16:32:10,705 61726    1468485128       192.168.1.127:6702      6:bolt        execute_count           5
2016-07-14 16:32:15,708 66729    1468485133       192.168.1.127:6702      6:bolt        execute_count           5
2016-07-14 16:32:25,699 76720    1468485143       192.168.1.127:6702      6:bolt        __ack-count             {spout:default=60}
2016-07-14 16:32:25,701 76722    1468485143       192.168.1.127:6702      6:bolt        __sendqueue             {sojourn_time_ms=0.0, write_pos=10, read_pos=10, arrival_rate_secs=0.10267994660642776, overflow=0, capacity=1024, population=0}
2016-07-14 16:32:25,701 76722    1468485143       192.168.1.127:6702      6:bolt        word_count              {happy=18, angry=19, excited=14}
2016-07-14 16:32:25,702 76723    1468485143       192.168.1.127:6702      6:bolt        __receive               {sojourn_time_ms=817.6666666666666, write_pos=62, read_pos=61, arrival_rate_secs=1.222992254382389, overflow=0, capacity=1024, population=1}
 
 
 
 
 
 
 
 
 
 

相关文章

  • 补习系列(20)-大话 WebSocket 与 &quot;尬聊&quot;的实现
    目录 一.聊聊 WebSocket 二.Stomp 是个什么鬼 三.SpringBoot 整合 WebSocket A. 引入依赖 B. WebSocket 配置 C. 控制器 D. 前端实现 四.参考文档 一.聊聊 WebSocket 从 ...
  • 《k8s 源码分析》- Custom Controller 之 Informer
    Custom Controller 之 Informer 概述 架构概览 reflector - List & Watch API Server Reflector 对象 ListAndWatch watchHandler - ad ...
  • ERP不规范,同事两行泪
    最近的很多次对外交流,都聊到了ERP建设的话题,并且无一例外的不那么让人省心,回想我这么多年走过的ERP坑坑路,在这里也写下经验和总结,希望能给正在或者即将走上ERP建设路的企业一些思考和帮助. 导读 1.几个瞎眼而普遍的案例 2.ERP的 ...
  • 为什么说 Java 程序员到了必须掌握 Spring Boot 的时候?
    Spring Boot 2.0 的推出又激起了一阵学习 Spring Boot 热,就单从我个人的博客的访问量大幅增加就可以感受到大家对学习 Spring Boot 的热情,那么在这么多人热衷于学习 Spring Boot 之时,我自己也在 ...
  • 从 docker 到 runC
    笔者在前文<RunC 简介>和<Containerd 简介>中分别介绍了 runC 和 containerd.本文我们将结合 docker 中的其它组件探索 docker 是如何把这些组件组织起来协调工作的. Doc ...
  • More Effective C++
    More Effective C++ 35个改善编程与设计的有效方法 只有深入了解C++编译器如何解释代码, 才有可能用C++语言写出健壮的软件. C++的难学, 不仅在其广博的语法, 语法背后的语义, 语义背后的深层思维, 深层思维背后的 ...

2019 cecdns.com webmaster#cecdns.com
12 q. 0.057 s.
京ICP备10005923号