简单易落地且对运维友好的配置中心方案

不知道配置文件上次什么时候修改的、修改了什么内容？改了配置文件还要重新发布项目或者手动触发重启服务？无缘无故发现配置文件错了影响到线上正常部署？你是否正在因为这些问题而困扰？50+线上项目，数百+配置文件，我们经常被这些配置文件虐的生无可恋，是时候作出改变了！本文将带你解决这些问题，喝着咖啡轻松运维

配置中心选型

选型的原则：简单，易落地，不挑平台，不挑语言，尽量少的依赖。

对比了Disconf、Apollo等方案，最终选择了Etcd+Confd的方案，基本符合上边的原则，且Etcd我们在部署Kubernetes的时候已经有过使用，算是轻车熟路。

配置中心架构图

配置中心整体采用C/S的模式，用Etcd作为服务端来存储数据，Confd作为客户端去Etcd取数据更新

为了更方便的管理写了WebUI，实际上是一个Etcd服务的WebUI，主要与Etcd服务交互，去Etcd存取数据

Confd根据配置文件去Etcd集群拉取数据，然后根据模板文件将数据按照设定的格式填充的固定的位置生成最终的配置文件

配置文件生成后还可以配合check_cmd和reload_cmd命令对配置文件进行检查和重新加载

配置中心部署 Etcd集群

系统环境

System：Debian 8

Etcd：v3.3.9

服务器地址

192.168.107.101

192.168.107.102

192.168.107.103

所有服务器都需要执行以下命令来安装etcd和创建目录

1.下载etcd安装包并解压

# wget https://github.com/coreos/etcd/releases/download/v3.3.9/etcd-v3.3.9-linux-amd64.tar.gz # tar -zxvf etcd-v3.3.9-linux-amd64.tar.gz

2.拷贝程序到/usr/bin目录下方便执行，etcd为go编写，直接可运行，主要有两个文件etcd和ectdctl，

# mv etcd-v3.3.9-linux-amd64/etcd* /usr/bin/

3.创建etcd配置文件目录/etc/etcd和数据存放目录/home/data/etcd

# mkdir /etc/etcd /home/data/etcd 三个node节点etcd配置文件分别如下

node1配置

# cat /etc/etcd/etcd.conf name: 'node1' data-dir: /home/data/etcd listen-peer-urls: :2380 listen-client-urls: :2379,:2379 initial-cluster-state: 'new' initial-cluster-token: 'etcd-cluster-conf' advertise-client-urls: :2379 initial-advertise-peer-urls: :2380 initial-cluster: node1=http://192.168.107.101:2380,node2=http://192.168.107.102:2380,node3=http://192.168.107.103:2380

node2配置

# cat /etc/etcd/etcd.conf name: 'node2' data-dir: /home/data/etcd listen-peer-urls: :2380 listen-client-urls: :2379,:2379 initial-cluster-state: 'new' initial-cluster-token: 'etcd-cluster-conf' advertise-client-urls: :2379 initial-advertise-peer-urls: :2380 initial-cluster: node1=http://192.168.107.101:2380,node2=http://192.168.107.102:2380,node3=http://192.168.107.103:2380

node3配置

# cat /etc/etcd/etcd.conf name: 'node3' data-dir: /home/data/etcd listen-peer-urls: :2380 listen-client-urls: :2379,:2379 initial-cluster-state: 'new' initial-cluster-token: 'etcd-cluster-conf' advertise-client-urls: :2379 initial-advertise-peer-urls: :2380 initial-cluster: node1=http://192.168.107.101:2380,node2=http://192.168.107.102:2380,node3=http://192.168.107.103:2380 每个节点配置完成后均启动

需要放在后台运行，推荐使用screen工具

# /usr/bin/etcd --config-file /etc/etcd/etcd.conf

三个节点全部启动完成后，可通过etcdctl member list命令查看集群列表，确认集群状态

# etcdctl member list 732ca490026f580d: name=node3 peerURLs=http://192.168.107.103:2380 clientURLs=http://192.168.107.103:2379 isLeader=false bc16d35c3ad1c5ee: name=node2 peerURLs=http://192.168.107.102:2380 clientURLs=http://192.168.107.102:2379 isLeader=true f7a043d3b65cd4a4: name=node1 peerURLs=http://192.168.107.101:2380 clientURLs=http://192.168.107.101:2379 isLeader=false Confd

1.下载confd并放到/usr/bin/目录下方便使用

# wget https://github.com/kelseyhightower/confd/releases/download/v0.16.0/confd-0.16.0-linux-amd64 # mv confd-0.16.0-linux-amd64 /usr/bin/confd # chmod +x /usr/bin/confd

2.新建confd配置文件目录

# mkdir /etc/confd/{conf.d,templates}

3.新建资源文件，.toml文件结尾已经成了固定格式

# cat /etc/confd/conf.d/nginx.conf.toml [template] src = "nginx.conf.tmpl" dest = "/tmp/nginx.conf" keys = [ "/conf/project/env/nginx/nginx.conf", ] check_cmd = "/usr/sbin/nginx -t -c {{.src}}" reload_cmd = "/usr/sbin/service nginx reload"

这里我们新建了一个nginx配置的资源文件，参数解释：

src：指定模板文件的位置，也就是nginx配置文件模板tmpl的位置

dest：指定最终生成或更新的配置文件绝对路径，这里为了测试我们给指定到/tmp/下

keys：模板文件里边要用到的key，也就是etcd里边对应的这个项目配置文件的key

check_cmd：在更新配置文件完成后执行的check命令，这里我们就check下nginx配置文件是否有语法错误

reload_cmd：在check通过后可以执行这里配置的命令，上一步的check没有问题，就会执行reload命令重新加载配置文件

prefix：配置key的前缀，例如我们的key都是以/conf开头的，那么可以增加个配置prefix="/conf"，在下边keys里就可以省略掉/conf了

owner：配置生成配置文件的用户

mode：配置生成配置文件的权限

4.新建模板文件

# cat /etc/confd/templates/nginx.conf.tmpl {{getv "/conf/project/env/nginx/nginx.conf"}}

confd的模板语法有很多，这里不赘述，具体可查官网

我们是把整个配置文件的内容作为一个value存在etcd里边的，所以这里只需要一个getv指令获取到value的值填充到目标文件就可以了

联调测试

部署好了etcd集群和confd服务，接下来我们就要测试下他们是否能够正常协同工作了