Gearman实战第一弹:异步处理结算单

昨天梦回jm,醒来之后看着窗外万里晴空,想大声喊一句:爷青回! 我想起之前使用gearman的岁月。不知不觉也过了快5年,想总结一篇关于gearman的技术文章算是一种对青春的祭奠,再不写的话更少有phper用过这个强大的分布式任务分发框架,毕竟这个时代已经属于swoole。
先讲一下Gearman,它是一款用C++编写的分布式任务分发框架,通过暴露API给使用方来完任务委托,在多台机器上负载均衡且并发地执行任务。特别是密集型计算,可以使用Gearman去异步地完成任务调度。
Gearman的结构分成三个角色: Client: 客户端,可以是不同的编程语言,如php,java,python等. Job Server: 任务服务器,负责分派任务,不负责业务逻辑。 worker: 执行任务的节点,可以是不同的编程语言实现,不一定和clent端的语言一样,如java,php, python等。
整个流程图如下图所示:

Gearman实战第一弹:异步处理结算单

下一步开始安装gearman和相关扩展,这次我们还是使用php来作为编程语言。之前我写过一篇文章讲在服务器上安装gearman,这里只讲一下在macpro上如何安装gearman和php扩展。
比起linux上面的编译安装,mac上安装很简单,使用brew命令如下:
brew install gearman

为了让上一步安装的gearman能直接在终端调用,需要先创建下面这个目录

sudo mkdir /usr/local/sbin

让当前用户成为gearman安装目录下的sbin的所有者

sudo chown -R $(whoami) $(brew --prefix)/sbin

把link指向刚才安装的gearman

brew link gearman

这一步很关键,让终端可以直接调用gearmand命令

ln -s /usr/local/opt/gearman/sbin/gearmand /usr/local/bin
先介绍一下背景: 假设我们有一个场景,很多商家通过我们的结算平台进行天结算,然后结算单需要复杂的计算,然后结算完成后异步地把计算结果以附件excel的方式发送给用户。假设有十万商家,每天订单有上万每户,那么这是比较大的数据量,且都是在某个时间段开放结算,有并发的压力。
这个时候用户(也就是商家)非常想快速完成结算并看到结果,对于处理过程的等待是非常低容忍度的,我们需要考虑可以利用多个worker异步去处理这些结算任务。
首先编写worker端的代码:

addServer('127.0.0.1', 4730); // 可以注册多个server,server可以在不同的机器上。 // 非阻塞方式运行 $worker->addOptions(GEARMAN_WORKER_NON_BLOCKING); ​ $worker->addFunction("calculate", "calculatePayment"); ​ $worker->addFunction('send', "sendEmail"); ​ while($worker->work()); // 计算结算单 function calculatePayment($job) { $data = json_decode($job->workload()); ​ // 开始复杂的计算 todo ​ return $data; ​ } ​ // 发送邮件 function sendEmail($job) { // todo ​ $data = $job->workload(); send_email_with_attachment($data->email, $data->content); return true; } ​ 然后是编写客户端,命名为client.php,代码如下: addServer(); echo "start the calling"; $paymentList = [['order_id' => '110112', 'product_id' => [2323,4455,4455], 'pay_money' => '4423.00'], [['order_id' => '110113', 'product_id' => [223,45,67], 'pay_money' => '1400.00']]]; $data = $client->addTask('calculate', json_encode($paymentList)); // 后台方式运行,因为毕竟只是发邮件 $client->addTaskBackground("send", $data); ​ echo "finish\r\n"; ​ 然后可以先把gearmand跑起来,也就是job server这一块,命令很简单: gearmand -d ​-d表示是守护进程方式运行。但是即使这样也有可能任务执行失败或者gearmand服务因为各种原因挂掉,所以建议结合mysql做持久化,也就是把执行情况记录到mysql中,一旦出现问题down掉,重新运行的时候可以根据mysql中的执行记录从失败的记录开始重跑。 为了做持久化,先创建用于持久化的数据库和表:​ CREATE DATABASE gearman; ​ CREATE TABLE `gearman_queue` ( `unique_key` varchar(64) NOT NULL, `function_name` varchar(255) NOT NULL, `priority` int(11) NOT NULL, `data` longblob NOT NULL, `when_to_run` int(11), PRIMARY KEY (`unique_key`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; ​ 运行gearmand的时候可以使用到mysql方式作为持久化,命令如下所示: gearmand -q mysql \ --mysql-host=127.0.0.1 \ --mysql-port=3306 \ --mysql-user=mine \ --mysql-password=xxxxx \ --mysql-db=gearman \ --mysql-table=gearman_queue 然后可以把worker运行起来,可以多开几个终端,例如在三个终端跑worker,命令如下: php /path/to/folder/worker.php 然后再执行client去触发任务: php /path/to/folder/client.php 剩下就交给gearman去分发任务了,worker开始并发地高效处理任务啦! 当然我们也要考虑监控和管理worker,可以用shell去监听和处理worker个数,也可以自己编写一个Gearman manager工具。这是后面可以聊的,到时候另开一篇文章吧。 除此之外,其他我们对于worker部分完全可以考虑使用一些异构语言,如java或者golang,PHP只做客户端使用,有人已经编写了grpc去实现了。 今年gearman的作者还在不断迭代,目前最新版本是1.1.19.1, 我收回之前的话,还是很多人在为这个框架付出,听说10年前左右雅虎已经大面积使用这个gearman框架来做新闻聚合了,当然jm也有用。 gearman=swoole+任务分发,老骥伏枥,志在千里罢了。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpxjwy.html