数据库炸了——是谁动了我的wait_timeout

  隐约听到坐在我对面的测试说测试环境的接口有问题

  他们一番商讨后,朝我这边反馈说,现在测试环境的接口报504

  我条件反射的回了句那是接口超时,再多试几次(测试环境的性能比较差,尤其是数据库,经常504

  测试同学并不信服的点点头

 

  再一会,有同事反馈自测自己的功能发现操作数据库失败,我去瞅了一眼

  invalid connection,嗯,这个我很熟悉,我前几天也偶尔遇到过

  再接着,测试为了让我们重视起来,用了一个很提神的说法——"测试环境炸了"

  我们几个同事看了下,发现测试说的接口炸了,其实是测试的数据库炸了,从偶尔的连不上变成偶尔的连上再到彻底连不上

 

2、初步排查

  接口全挂,测试怀着复杂的心情呆坐着,不时的问我们接口好了没

  我们开始回忆今天一切有关数据库的操作……

 

  老大下午四点的时候好像在群里反馈过一波,说谁把测试数据库的连接打满了,大家都从自己当前的线程中抽了几秒钟象征性的回忆了下自己是否有操作数据库,然后发现与我无瓜后,继续切换到主线程code

  后来,有隐约听到老大说数据库卡死,需要重启下

  这个回忆起来的操作,让我们认为重启是导致这次数据库炸了的元凶,然而,这都是猜测,一时半会还拿不出什么证据(直到最后,我们找到原因,也无法断定是此次重启造成的,后面再细说

 

  于是,有的同事通过"show full processlist"查看当前连接数,发现连接并不多;有同事通过调试的方式企图找到一些线索……

  20分钟过去了,大家还没有明显的思路,显然,这种问题大家之前也没有遇到过。

 

  在这段时间里,我进入数据库所在的机器,执行'ps -ef |grep "mysql" '看到了error.log

/usr/sbin/mysqld --defaults-file=http://www.likecs.com/etc/mysql/my.cnf --basedir=http://www.likecs.com/usr --datadir=http://www.likecs.com/data/mysql --plugin-dir=http://www.likecs.com/usr/lib/mysql/plugin --user=root --log-error=http://www.likecs.com/var/log/mysql/error.log --pid-file=http://www.likecs.com/var/run/mysqld/mysqld.pid --socket=http://www.likecs.com/var/run/mysqld/mysqld.sock --port=3306

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wspxsg.html