我们用ELK做日志分析系统，Elasticsearch1.7.3运行了近一年，最近已经将一个集群升级到ES5.1.1，但是遇到问题比较多。所以将另一个集群升级到社区推荐比较稳定的2.4.2。为了便于升级管理，操作都是用ansible来统一执行。
一：停止monit守护进程
#集群的所有logstash、es进程都是由monit监控守护，先停止监控守护。感兴趣monit的可以看我另一篇文章《使用M/Monit进行可视化集中进程管理》
$ ansible elksjs -m shell -a '/opt/monit/bin/monit -c /opt/monit/conf/monitrc unmonitor all'
二：停止es集群写入
#由于前端顶了kafka集群，所以后端停止写入，数据会堆积在kafka中。集群启动后继续消费。数据不会丢失。
$ ansible elksjs -m shell -a '/etc/init.d/logstash start'
三:停止logstash写入后，同步副本commitd
#和linux命令sync的类似，停机前将内存中数据刷到磁盘中。
$ curl -XPOST localhost:9200/_flush/synced
四:停机前禁止分片分配
#禁止分片分配，防止集群启动后，某些节点没有及时加入而导致数据在集群中分配均衡，增加负载。应该等所有节点加入后，再开启分片分配。
$ curl -XPUT localhost:9200/_cluster/settings -d '{"transient":{"cluster.routing.allocation.enable": "none"}}'
五：停止es
#停止所有es的节点。
$ ansible elksjs -m shell -a '/etc/init.d/elasticsearch stop'
六：卸载es老版本
#卸载所有es的安装包
$ ansible elksjs -m shell -a 'rpm -e elasticsearch-1.7.3-1'
七：安装新包
#安装新的es2.4.2安装包
ansible elksjs -m shell -a 'wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/rpm/elasticsearch/2.4.2/elasticsearch-2.4.2.rpm -P /opt'
ansible elksjs -m shell -a 'rpm -iv /opt/elasticsearch-2.4.2.rpm'
八：恢复配置文件和启动文件
#做这一步的前提是本次升级配置文件没有变化，1.7.3和2.4.2的配置变化不大，我的配置中都适配2.4.2版本，所以直接用原配置了。稍后再做优化和调整。如果有变化，请更新配置文件。
$ ansible elksjs -m shell -a 'cd /etc/init.d/ &&rm elasticsearch && mv elasticsearch.rpmsave elasticsearch'
$ ansible elksjs -m shell -a 'cd /etc/elasticsearch/&& rm -rf elasticearch.yml &&mv elasticsearch.yml.rpmsave elasticsearch.yml'
九：修改数据目录属主
#由于卸载es安装包的时候也删除了es用户，又新建了es用户，所以要重新给es的data目录属主改成elasticsearch。
$ ansible elksjs -m shell -a 'chown -R elasticsearch.elasticsearch /data/elk/es'
$ ansible elksjs -m shell -a 'chown -R elasticsearch.elasticsearch /data/es'
十：启动elasticsearch
#启动es进程，这一步没有报错就万事大吉了，事实上不是。。。经历了多次报错，多次回滚到老版本，调整后终于升级成功了。
1 ansible elksjs -m shell -a '/etc/init.d/elasticsearch start'
十一：检查集群是否健康
#集群启动后，通过下面来检查集群节点是否都加入集群，集群是否健康。事实上，我的五个master启动后自动加入集群，但是数据节点升级后启动时基本都在做索引升级操作。es2.x和es1.x对多目录索引路径的存放策略是不同的。需要将所有的数据move一遍。等待时间很长。
$ curl localhost:9200/_cat/health?v
$ curl localhost:9200/_cat/nodes?v
十二：集群启动后启动分片分配
#等所有节点都加入集群后，可以开启分片分配
1 curl -XPUT localhost:9200/_cluster/settings -d '{"transient": {"cluster.routing.allocation.enable": "all"}}'
十三：下载新版本head和kopf插件
#之前1.X用的head插件和kopf-1.5发现在es2.4.2中都无法正常显示，只好卸载重装了，安装了新的版本。
$ wget https://codeload.github.com/mobz/elasticsearch-head/zip/master
$ wget https://codeload.github.com/lmenezes/elasticsearch-kopf/tar.gz/v2.1.2
$ tar xf elasticsearch-kopf-2.1.2.tar.gz
$ unzip elasticsearch-head-master.zip
$ mv elasticsearch-kopf-2.1.2 /usr/share/elasticsearch/plugins/kopf
$ mv elasticsearch-head-master /usr/share/elasticsearch/plugins/head
十四：更新kibana
#由于之前使用的是ES1.X，在2.x中已经不再支持kibana3，但是由于有大量的索引页在kibana3上，以及长时间的用户习惯，还想使用kibana3。社区里有同学改了kibana3的代码，支持了es2.X。所以又可以愉快的使用kibana3了。
$ wget https://codeload.github.com/heqin5136/kibana3-with-es2/zip/master
# 将kibana3-with-es2/src作为web目录即可
# kibana4之前使用的是4.1.4但是启动后也出现报错。使用4.6版本正常
1 $ wget https://download.elastic.co/kibana/kibana/kibana-4.6.0-x86_64.rpm
--------------------------------------------------------------------------------
升级过程中遇到的问题
（1）：当设置bootstrap.mlockall: true时，启动es报警告Unknown mlockall error 0。
解决方法：设置为锁住内存大小无限制，linux命令：ulimit -l unlimited