最近因为项目需要在读opentsdb的一部分源码,后面会做个小结分享出来。本人是不大喜欢写这种安装部署的文章,考虑到opentsdb安装部署对于初次接触者来说不太友好,另外对公司做测试的同事可能有些帮助作用,方便他们快速安装部署,就把OpenTSDB 2.4.0安装部署文档写在这里。
对于opentsdb是什么,应用领域这里就不说了,不了解的请看官网。
这里只提一点,opentsdb的后端数据存储依赖于HBase。
所以安装步骤就分为了三步 (我们也可以类比安装传统的依赖关系型数据库比如mysql作为后端数据存储的软件)
安装HBase (类比传统软件我们要安装mysql)
创建表结构 (类比我们在mysql中创建database以及table)
安装配置并启动opentsdb (类比一些springboot的应用)
安装HBase如果已经有HBase环境了,那么请跳过这一步(大多数使用HBase集群环境应该都是用CDH管理)
官网地址:
其实HBase的存储又是依赖HDFS,当然了如果只是本地测试用,可以直接用本地文件系统代替HDFS,这样就不需要部署一套HDFS集群了
搭建Standalone HBase,官方文档#quickstart,一步一步都有,请仔细读
这里简单梳理一下关键的地方:
conf/hbase-env.sh文件
# The java implementation to use. export JAVA_HOME=http://www.likecs.com/usr/jdk64/jdk1.8.0_112conf/hbase-site.xml文件
<configuration> <property> <!-- hbase实际存放数据地方,这里是本地文件系统,生产环境一般HDFS地址,例如hdfs://namenode.example.org:8020/hbase --> <name>hbase.rootdir</name> <value>file:///home/itwild/hbase</value> </property> <property> <!-- 指定zookeeper的data目录 目前hbase需要依赖zookeeper,HBase通过Zookeeper来做Master的高可用、RegionServer的监控、元数据的入口以及 集群配置的维护等工作 因为是Standalone,为了降低部署复杂度,启动的时候也会启zookeeper,指定zk data存储目录,实际使用大多用单独的zk集群,一般不使用内置的zk --> <name>hbase.zookeeper.property.dataDir</name> <value>/home/itwild/zookeeper</value> </property> </configuration>然后执行bin/start-hbase.sh, 启动成功了jps命令可以看到HMaster进程。
在standalone模式下,虽然看到的是一个JVM实例,实际上启了HMaster、HRegionServer、ZooKeeper
启动成功,可打开HBase Web UI, :16010
在HBase中创建表结构执行bin/hbase shell进入一个交互的界面 (这里我们也可以类比执行mysql -uXXX -pXXX后进入)
在交互界面里我们依次执行下面4条建表(table)语句
# opentsdb中那些metric数据就存在这张表中 # 这张表数据会很大,考虑到读写效率,我们注意到这张表就一个列族 create 'tsdb',{NAME => 't', VERSIONS => 1, BLOOMFILTER => 'ROW'} # opentsdb中建立metric name、tagK、tagV字面量与uid一一对应的表 # opentsdb不会存储实际的字符串字面值 # 比如system.cpu.util的metric,会将system.cpu.util转化为id(默认自增,后面介绍部分源码的时候会有讲到)后,存入HBase # 这张表有id、name两个列族,可通过id找到name,也可以通过name找到id create 'tsdb-uid',{NAME => 'id', BLOOMFILTER => 'ROW'},{NAME => 'name', BLOOMFILTER => 'ROW'} # 下面两张表暂时可不必太关心,先创建出来就好 create 'tsdb-tree',{NAME => 't', VERSIONS => 1, BLOOMFILTER => 'ROW'} create 'tsdb-meta',{NAME => 'name', BLOOMFILTER => 'ROW'}注意一下,这里的建表语句我有意把压缩(COMPRESSION)选项去掉了,因为存储用的是本地文件系统,有些压缩可能是不支持的,生产环境使用HDFS的建表语句可能是这样的
create 'tsdb',{NAME => 't', VERSIONS => 1, BLOOMFILTER => 'ROW', COMPRESSION => 'SNAPPY'} create 'tsdb-uid',{NAME => 'id', BLOOMFILTER => 'ROW', COMPRESSION => 'SNAPPY'},{NAME => 'name', BLOOMFILTER => 'ROW', COMPRESSION => 'SNAPPY'} create 'tsdb-tree-2',{NAME => 't', VERSIONS => 1, BLOOMFILTER => 'ROW', COMPRESSION => 'SNAPPY'} create 'tsdb-meta-2',{NAME => 'name', BLOOMFILTER => 'ROW', COMPRESSION => 'SNAPPY'}在hbase shell的交互界面中执行list,即可看到上面创建的4张表
hbase(main):004:0> list TABLE tsdb tsdb-meta tsdb-tree tsdb-uid 安装配置并启动opentsdb下载地址:https://github.com/OpenTSDB/opentsdb/releases
这里centos7系统,选择下载opentsdb-2.4.0.noarch.rpm包
执行yum -y localinstall opentsdb-2.4.0.noarch.rpm
如果这里安装报错,可能需要vi /usr/bin/yum临时改一下python解析器的版本#!/usr/bin/python2.7,
改过之后安装过程中又有报错,可能需要vi /usr/libexec/urlgrabber-ext-down同样临时改一下python解析器的版本#!/usr/bin/python2.7
把opentsdb的服务注册为系统服务,即可以用systemctl status/start/stop/restart opentsdb来查看控制