在应用端,偶尔看到有如下报错:
Authentication to host 'xxxx' for user 'yyyy' using method 'MySQL_native_password' failed with message: Reading from the stream has failed.表现特征:
1.只有用Connector/NET 出现这个问题, 用JDBC驱动没有类似问题。
2.多台应用服务器,只有一台报这个错,因此可以排除服务器端的问题。
3.问题非常随机,重启一下服务器/IIS,就能临时解决问题。
4.有一些场景应用服务器CPU并不是很高,也会偶尔抛出这个错来。
客户端是Windows机器, 驱动是MySQL Connector ADO.NET Driver for MySQL (Connector/NET) ,使用的版本是6.9.9,是比较新的版本。
【问题分析】我们在应用服务器端和数据库端抓包。两边抓到的包是一致的。可以排除网络问题。下面是抓到的包,以及时间点:
编号绝对时间相对时间(秒)源头目的网络包内容1 12:58:47 9.07 应用服务器 数据库服务器 ......S.
2 12:58:47 9.07 数据库服务器 应用服务器 …A..S.
3 12:58:47 9:07 应用服务器 数据库服务器 …A….
4 12:58:47 9:07 数据库服务器 应用服务器 …AP…
5 12:58:47 9.27 应用服务器 数据库服务器 …A….
6 12:58:57 19.12 数据库服务器 应用服务器 …A…F
7 12:58:57 19.12 应用服务器 数据库服务器 …A….
8 12:59:10 32.00 应用服务器 数据库服务器 …AP…
9 12:59:10 32.00 数据库服务器 应用服务器 …..R..
从上述网络包的交互来看, 前面三个包是TCP的三次握手协议。问题出在第六个包,数据库服务器向应用服务器发送了一个Finish包,来终止数据库的连接。数据库发送Finish包,是由于数据库端发现连接超时而发送的。 这是由服务器端的Connect_timeout这个变量来控制。原因在于应用端超过10秒未向数据库服务器端发送网络包。从网络包交互的情况来看,第五个包和第六个包的时间间隔刚好是10秒。
对比正常的数据库连接和上面异常的数据库连接。 应用服务器发送第5个包到数据库端后, 应该紧接着发送下面的网络包到数据库端的。这个包主要是发送账号,驱动版本,操作系统信息等到数据库服务器端。【下面是部分的正常的网络包截图】。在出现异常报错的场景,客户端是延迟发送这个包的。在Frame 8才发送的。而此时连接已经被Finish了,在Frame 9,数据库端发送了一个Reset包到应用服务器,彻底中断连接。