Hadoop metrics 各参数解释

研究使用Hadoop的人 对hadoop中详细的计数器有所了解,但是很多人在想完全清楚所有metrics时 发愁找不到资料。而且在代码中查找时介绍也比较少。先罗列出所有。

dfs.datanode.blockChecksumOp_avg_time 块校验平均时间
dfs.datanode.blockChecksumOp_num_ops 块检验次数
dfs.datanode.blockReports_avg_time 块报告平均时间
dfs.datanode.blockReports_num_ops 块报告次数
dfs.datanode.block_verification_failures 块验证失败次数
dfs.datanode.blocks_read 从硬盘读块总次数
dfs.datanode.blocks_removed 删除块数目
dfs.datanode.blocks_replicated 块复制总次数
dfs.datanode.blocks_verified 块验证总次数
dfs.datanode.blocks_written 向硬盘写块总次数
dfs.datanode.bytes_read 读出总字节包含crc验证文件字节数
dfs.datanode.bytes_written 写入总字节数(在写入每个packet时计数)
dfs.datanode.copyBlockOp_avg_time 复制块平均时间 (单位ms)
dfs.datanode.copyBlockOp_num_ops 复制块次数
dfs.datanode.heartBeats_avg_time 向namenode汇报平均时间
dfs.datanode.heartBeats_num_ops 向namenode汇报总次数
dfs.datanode.readBlockOp_avg_time 读块平均时间(单位ms)
dfs.datanode.readBlockOp_num_ops 读块总次数 一般和dfs.datanode.blocks_read 一致,先从硬盘读入输入流,增加dfs.datanode.blocks_read 计数,然后再增加该计数
dfs.datanode.reads_from_local_client 从本地读入块次数
dfs.datanode.reads_from_remote_client 从远程读入块次数
dfs.datanode.replaceBlockOp_avg_time 替换块平均时间(负载均衡策略)
dfs.datanode.replaceBlockOp_num_ops 替换块次数(负载均衡策略)
dfs.datanode.volumeFailures notfound 和block拥有的volume 失败有关
dfs.datanode.writeBlockOp_avg_time 写块平均时间
dfs.datanode.writeBlockOp_num_ops 写块总次数一般和dfs.datanode.blocks_written 一致,先从硬盘,增加dfs.datanode.blocks_read 计数,然后再增加该计数
dfs.datanode.writes_from_local_client 写本地次数
dfs.datanode.writes_from_remote_client 写远程次数
jvm.metrics.gcCount gc总次数
jvm.metrics.gcTimeMillis gc总耗时(ms)
jvm.metrics.logError jvm error 次数
jvm.metrics.logFatal jvm出现fatal次数
jvm.metrics.logInfo jvm info出现次数
jvm.metrics.logWarn jvm warn出现次数
jvm.metrics.maxMemoryM jvm试图使用最大内存(M),如果没有限制返回Long.MAX_VALUE
jvm.metrics.memHeapCommittedM jvm提交堆内存大小
jvm.metrics.memHeapUsedM jvm使用堆内存大小
jvm.metrics.memNonHeapCommittedM jvm非堆内存已提交大小
jvm.metrics.memNonHeapUsedM jvm非堆内存已使用大小
jvm.metrics.threadsBlocked 正在阻塞等待监视器锁的线程数目
jvm.metrics.threadsNew 尚未启动的线程数目
jvm.metrics.threadsRunnable 正在执行状态的线程数目
jvm.metrics.threadsTerminated 已退出线程数目
jvm.metrics.threadsTimedWaiting 等待另一个线程执行取决于指定等待时间的操作的线程数目
jvm.metrics.threadsWaiting 无限期地等待另一个线程来执行某一特定操作的线程数目

rpc.metrics.NumOpenConnections                     number of open connections rpc连接打开的数目
rpc.metrics.ReceivedBytes                          number of bytes received rpc收到的字节数
rpc.metrics.RpcProcessingTime_avg_time             Average time for RPC Operations in last interval rpc在最近的交互中平均操作时间                  
rpc.metrics.RpcProcessingTime_num_ops              rpc在最近的交互中连接数目
rpc.metrics.RpcQueueTime_avg_time                  The Average RPC Operation Queued Time in the last interval rpc在最近的交互中平均等待时间
rpc.metrics.RpcQueueTime_num_ops                   在CDH3B4中未找到该属性。本人理解为rpc在最近的交互中等待操作数目
rpc.metrics.SentBytes                              number of bytes sent  rpc发送的数据字节
rpc.metrics.callQueueLen                           length of the rpc queue  rpc 队列长度
rpc.metrics.rpcAuthenticationFailures              number of failed authentications  rpc 验证失败次数
rpc.metrics.rpcAuthenticationSuccesses             number of successful authentications   验证成功数
rpc.metrics.rpcAuthorizationFailures               number of failed authorizations   授权失败次数
rpc.metrics.rpcAuthorizationSuccesses              number of successful authorizations  成功次数

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/db9ea3eb1e61213ab9e174929633f926.html