上一篇文章后端多环境治理的实践(一)我们介绍了什么是后端多环境治理,而且用springcloud实现了微服务调用的多环境治理。
实现了之后,我们微服务的流量调度如下图:
但是mq的消费怎么办,mq的消费是没有办法做自定义的负载均衡,消费逻辑是由mq来决定的,经过mq之后,流量调度就会失效。
default版本的score和v1版本的score会随机消费mq消息。
一、公司的解决方案先说一下,公司用的是rocketmq。
而且公司有专门的mq团队,他们对mq做了各种的魔改,其中一个魔改就是所有的mq消息者不会直接连接mq,而且经过一个mq_proxy再连接到mq。
所以公司的mq的消费可以自定义自己的路由规则。
具体实现如下:
基准消息和feature消息复用topic。生产者会根据context,在消息的header里添加env属性。
当feature consumer启动时,会在proxy根据version注册对应的filter
当feature consumer拉取消息,proxy会根据注册的filter,将对应version的消息过滤出来加到本地缓存里
feature consumer拉取消息,会从proxy的本地缓存里poll消息
大家知道一下原理就好,对于一般的公司来说,不太有能力去修改mq源代码,也不太可能有专门的基建团队去打造一个mq_proxy中间件出来。
二、我的解决方案我没有能力魔改m,也没能力造一个mq_proxy。
但是只要理解了解决方案,就能实现多环境的mq消费,只是实现的方式会low一点。
要实现mq的多环境流量调度,只要做四件事:
1、**每个微服务注册启动的时候,要带上一个标记,标记自己当前的版本,消息发送时要把这个标记放到mq_message的header里面。
2、每个微服务启动的时候,要向某个地方注册一下,标记现在存在一个某个版本的消费者。
3、所有的mq消费要经过统一的代理。
4、消费代理者执行如下逻辑:“如果消息的版本与本地版本相同,则本地消费,如果消息的版本与本地版本不相同,则判断是否存在对应版本的消费者,如果存在则转发给对应版本的消费者,如果不存在则本地消费”。
下面以rabbitmq为例子去实现多环境mq消费
最终实现效果如下:
oder-base发出的消息,user-base消费。
order-v1发出的消息,user-v1消费。
oder-v2发出的消息,user-base消费。
1、**每个微服务注册启动的时候,要带上一个标记,标记自己当前的版本,消息发送时要把这个标记放到mqmessage的header里面。
上一期我们已经给每个实例标记了一个版本号,只要把这个版本号丢到mq的header里面,就能给这个message标记他的version。
2、每个微服务启动的时候,要向某个地方注册一下,标记现在存在一个某个版本的消费者。
这里实现的方法有很多,可以用zookeeper、redis,这里我利用rabbitmq的自动删除队列的特性,如果某个队列是自动删除队列,而且曾经有消费者连接过他,当没有消费者消费该queue时,该queue会自动删除。
所以只要我们的featrue消费者启动的时候,向rabbitmq注册某个featrue特有的queue,根据这个特性,只要我们看某条queue是否存在,就知道是否有featrue消费者存在了。
3、所有的mq消费要经过统一的代理。
公司是通过统一的proxy做的,而我则可以通过sdk的方式,自定义原生的mq消费者的方式去做mq消费者的代理。
先写一个抽象消费类
创建一个MyQueuelister去实现这个抽象类
spring容器启动的时候,找出所以继承了RabbitmqLister的bean。