Doris开发手记1:解决蛋疼的MySQL 8.0连接问题

笔者作为Apache Doris的开发者,平时感觉相关Doris的文章写的很少。主要是很多时候不知道应该去记录一些怎么样的问题,感觉写的不好就会很慌张。新的一年,希望记录自己在Doris开发过程之中所遇到一些有意思的事情。(只希望能坚持下来,别打脸~~
言归正传,回到本篇想聊的问一个问题,笔者在开发ODBC of Doris的工作之中,发现通过MySQL 8.0的Driver连接Doris总是提示密码验证失败。但是由于开发工作繁忙,一直没有腾出手解决这个问题。最近重新抽时间梳理了一下这个问题,这个问题本身不难解决,但是解决问题的思路我觉得值得与大家分享,献丑了啊,各位~~

1.老革命遇到新问题

使用MySQL 8.0的客户端连接Doris时,如果不添加如下参数--default-auth=mysql_native_password的话,总会出现如下提示的密码认证错误:

ERROR 1045 (28000): Access denied for user 'default_cluster:test' (using password: YES)

同样的密码认证问题也会同时出现在了使用ODBC的MySQL 8.0以上的Driver连接Doris时。更令人蛋疼的是,使用ODBC链接时并没法调用上面的参数进行问题的规避。这会带来两个问题:

Doris本身的ODBC外表无法通过MySQL 8.0以上的Driver连接Doris

2.许多流行的BI分析工具如Tableau等:也无法通过ODBC的方式连接Doris

之前通过5.x的客户端和Driver可以顺利的连接Doris,而现在真是老革命遇上新问题了。

默认的密码认证插件的变更

其实新问题的引入很简单,就是MySQL的客户端从8.0的版本开始,将原先客户端的默认的密码认证插件由mysql_native_password改为了caching_sha2_password,两种密码认证方式不同。而Doris当前只支持mysql_native_password的密码认证插件,所以就导致了连接时密码认证失败了。而关于密码认证插件的变更,更为详细的内容,可以参考MySQL的官方文档。

2.问题的分析与梳理

好的,确认了问题,就开始研究解决方案。从直觉上说,Doris支持新的caching_sha2_password密码认证插件肯定是最直接的解决思路。这种做法肯定是一劳永逸的解决问题的,但是这就得重构整个Doris的密码管理系统,开发和支持起来的代价实在是有些太大了。

那既然我们否定了这种方式,就得另外想办法解决了。首先,使用MySQL 8.0的客户端连接Doris时,添加如下参数--default-auth=mysql_native_password便可以认证成功。 所以问题就回到了如何让ODBC的连接能够支持上述参数,笔者经历了下面的分析历程:

2.1 ODBC连接文档

ODBC是通过连接串的方式传参给MySQL的连接Driver的,如果能够像使用MySQL客户端的方式添加参数便可以解决,那么自然无代码的Coding是成本最低的解决方案。

笔者首先尝试查看了MySQL官方的ODBC连接参数文档,遗憾的是,并没有找到ODBC关于认证方式的任何内容,这也就意为着:此路不通

2.2 新旧版本的兼容性

既然MySQL从8.0开始切换了默认的密码认证插件,那么新的客户端是否可以连接老的MySQL服务器呢?MySQL本身是如何解决新老客户端的兼容问题的呢?

于是笔者尝试使用MySQL 8.0的客户端连接了MySQL的5.x的服务器,发现了下面的线索:新客户端并不需要像连接Doris一样,修改默认的密码认证插件。那也就意味着,MySQL的客户端和服务器可以在连接过程之中通过某种方式交换确认一种服务器支持的密码认证方式。

既然如此,笔者开始了Google之旅,但是并没有搜索到什么有价值的信息。没办法,源码面前,了无秘密。于是笔者决定尝试阅读一下MySQL Client端的代码,看看是否能发现上述的交互逻辑。

经过一番"痛苦"的源码搜索和阅读,笔者在找到了如下的注释,完整的阐述了MySQL的客户端与服务器的连接过程:

1. The client connects to the server 2. The server sends @ref page_protocol_connection_phase_packets_protocol_handshake 3. The client respons with @ref page_protocol_connection_phase_packets_protocol_handshake_response 4. The server sends the @ref page_protocol_connection_phase_packets_protocol_auth_switch_request to tell the client that it needs to switch to a new authentication method. 5. Client and server possibly exchange further packets as required by the server authentication method for the user account the client is trying to authenticate against. 6. The server responds with an @ref page_protocol_basic_ok_packet or rejects with @ref page_protocol_basic_err_packet

把上述的注释读懂之后,笔者又回头查阅了一下Doris之中处理MySQL客户端连接的代码。总算是整明白了为啥新的客户端连接Doris会失败了,这个是新客户端连接Doris的流程:

Drois ->: Authentication Plugin: mysql_native_password Client <-: Client Auth Plugin: caching_sha2_password Doris ->: MySQL Error 2012 (HY000): Password check failed.

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpjfyf.html