基于Lua脚本解决实时数据处理流程中的关键问题

在处理实时数据的过程中需要缓存的参与,由于在更新实时数据时并发处理的特点,因此在更新实时数据时经常产生新老数据相互覆盖的情况,针对这个情况调查了Redis事务和Lua脚本后,发现Redis事务并不能很好的满足该场景的业务需要,必须借助Lua脚本执行原子化的操作才能在理论上解决数据更新的准确性问题。

实时数据处理过程中遇到的问题

在处理实时数据的过程中,经常使用Redis存取数据执行CAS(check and set)操作。一般做法是先从Redis中获取到目标数据,然后根据数据的特征指标判断是应该更新还是放弃更新。在实时数据流量较小时这个办法简单粗暴的解决了数据更新的逻辑问题,但是面对上传频率较高的场景或者在更新实时数据时同步更新相关数据的汇总值时就会经常面临更新时新数据被老数据覆盖的问题,而且问题的出现具有随机性,无法有效解决数据的缓存准确性的要求。

此过程中的调用示意图:

发送命令请求,获取时间戳 Caller ----------------------------------------> Redis 发送时间戳给客户端 Caller <---------------------------------------- Redis 发送更新指令 Caller ----------------------------------------> Redis 返回执行结果 Caller <---------------------------------------- Redis

由上图可见在获取时间戳到发送更新指令之前由于不是原子操作,因此存在数据被更新的可能。在解决这个问题的时候不禁会想:“如果这个场景发生在数据库中会怎样?”

如果在数据库中,可以使用语句中的where条件来限制SQL语句的执行,做到按条件执行的目的。

上述思想可以用伪代码表达为:

UPDATE 终端状态 set status='XXXXX' where code='XXXX' and 时间戳>timestamp

这是个典型的先读后写的操作,该语句在数据库中以锁的方式保证了处理串行化和操作的原子性。

那么,问题是:Redis事务中能不能做到?

Redis事务

Redis的事务由四个关键命令构成:MULTI、EXEC、DISCARD和WATCH构成。

名称作用
MULTI   声明开启事务通道  
EXEC   开始批量执行  
DISCARD   放弃执行之前发生的命令  
WATCH   监听某个KEY的变化  

Redis事务的基本执行方式是:

使用WATCH声明监听某个KEY值的变化

发送MULTI命令

发送事务中需要执行的指令

发送EXEC指令,如果监听到数据在watch后发生变化则放弃提交

Redis事务的执行示意图:

发送命令请求,获取时间戳 Caller ----------------------------------------> Redis 发送时间戳给客户端 Caller <---------------------------------------- Redis 发送WATCH指令 Caller ----------------------------------------> Redis 发送MULTI指令 Caller ----------------------------------------> Redis 发送更新指令 Caller ----------------------------------------> Redis 发送EXEC指令 Caller ----------------------------------------> Redis 返回执行结果 Caller <---------------------------------------- Redis

Redis的事务跟数据库的事务有极大不同,其事务实际是由WATCH监听KEY值的变化加批量执行来完成的,而且事务执行过程中无法与客户端进行交互的。这个事务的实现方式就限制了其所能满足的业务场景,比如本文中遇到的时间戳+实时数据的更新场景中,要求时时刻刻都将最新的数据更新到Redis中,而不是在更新时发现有其他client抢先更新了目标KEY之后就放弃当前比较新的时间戳的更新权。

那么,如何才能满足将最新的数据更新到Redis中这个业务需求呢?方法也是有的,那就是使用Lua脚本

Redis+Lua脚本

Redis 2.6+都集成了Lua脚本。通过内嵌对于Lua的支持,Redis解决了长久以来不能高效处理CAS的缺点。在Redis中执行Lua脚本主要涉及到两个关键命令:EVAL和EVALSHA,另外还有个辅助的命令SCRIPT EXISTS sha1 sha2 ... shaN可以用于查询脚本是否已经缓存。

名称作用
EVAL   执行某个客户端传入的脚本  
EVALSHA   执行某个已经在Redis Server中缓存的脚本  

使用Lua脚本执行CAS操作的基本步骤:

客户端发送EVAL 脚本 参数...命令

服务端执行脚本

获取用于进行判断的键值

判断是否应该更新

执行/放弃更新

返回脚本执行结果

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/90ce5771685a5b22b50fb360cdffdce4.html