昨天梦回jm,醒来之后看着窗外万里晴空,想大声喊一句:爷青回! 我想起之前使用gearman的岁月。不知不觉也过了快5年,想总结一篇关于gearman的技术文章算是一种对青春的祭奠,再不写的话更少有phper用过这个强大的分布式任务分发框架,毕竟这个时代已经属于swoole。
先讲一下Gearman,它是一款用C++编写的分布式任务分发框架,通过暴露API给使用方来完任务委托,在多台机器上负载均衡且并发地执行任务。特别是密集型计算,可以使用Gearman去异步地完成任务调度。
Gearman的结构分成三个角色: Client: 客户端,可以是不同的编程语言,如php,java,python等. Job Server: 任务服务器,负责分派任务,不负责业务逻辑。 worker: 执行任务的节点,可以是不同的编程语言实现,不一定和clent端的语言一样,如java,php, python等。
整个流程图如下图所示:
下一步开始安装gearman和相关扩展,这次我们还是使用php来作为编程语言。之前我写过一篇文章讲在服务器上安装gearman,这里只讲一下在macpro上如何安装gearman和php扩展。
比起linux上面的编译安装,mac上安装很简单,使用brew命令如下:
brew install gearman
为了让上一步安装的gearman能直接在终端调用,需要先创建下面这个目录
sudo mkdir /usr/local/sbin
让当前用户成为gearman安装目录下的sbin的所有者
sudo chown -R $(whoami) $(brew --prefix)/sbin
把link指向刚才安装的gearman
brew link gearman
这一步很关键,让终端可以直接调用gearmand命令
ln -s /usr/local/opt/gearman/sbin/gearmand /usr/local/bin
先介绍一下背景: 假设我们有一个场景,很多商家通过我们的结算平台进行天结算,然后结算单需要复杂的计算,然后结算完成后异步地把计算结果以附件excel的方式发送给用户。假设有十万商家,每天订单有上万每户,那么这是比较大的数据量,且都是在某个时间段开放结算,有并发的压力。
这个时候用户(也就是商家)非常想快速完成结算并看到结果,对于处理过程的等待是非常低容忍度的,我们需要考虑可以利用多个worker异步去处理这些结算任务。
首先编写worker端的代码:
addServer('127.0.0.1', 4730); // 可以注册多个server,server可以在不同的机器上。
// 非阻塞方式运行
$worker->addOptions(GEARMAN_WORKER_NON_BLOCKING);
$worker->addFunction("calculate", "calculatePayment");
$worker->addFunction('send', "sendEmail");
while($worker->work());
// 计算结算单
function calculatePayment($job) {
$data = json_decode($job->workload());
// 开始复杂的计算 todo
return $data;
}
// 发送邮件
function sendEmail($job) {
// todo
$data = $job->workload();
send_email_with_attachment($data->email, $data->content);
return true;
}
然后是编写客户端,命名为client.php,代码如下:
addServer();
echo "start the calling";
$paymentList = [['order_id' => '110112', 'product_id' => [2323,4455,4455], 'pay_money' => '4423.00'], [['order_id' => '110113', 'product_id' => [223,45,67], 'pay_money' => '1400.00']]];
$data = $client->addTask('calculate', json_encode($paymentList));
// 后台方式运行,因为毕竟只是发邮件
$client->addTaskBackground("send", $data);
echo "finish\r\n";
然后可以先把gearmand跑起来,也就是job server这一块,命令很简单:
gearmand -d
-d表示是守护进程方式运行。但是即使这样也有可能任务执行失败或者gearmand服务因为各种原因挂掉,所以建议结合mysql做持久化,也就是把执行情况记录到mysql中,一旦出现问题down掉,重新运行的时候可以根据mysql中的执行记录从失败的记录开始重跑。
为了做持久化,先创建用于持久化的数据库和表:
CREATE DATABASE gearman;
CREATE TABLE `gearman_queue` (
`unique_key` varchar(64) NOT NULL,
`function_name` varchar(255) NOT NULL,
`priority` int(11) NOT NULL,
`data` longblob NOT NULL,
`when_to_run` int(11),
PRIMARY KEY (`unique_key`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
运行gearmand的时候可以使用到mysql方式作为持久化,命令如下所示:
gearmand -q mysql \
--mysql-host=127.0.0.1 \
--mysql-port=3306 \
--mysql-user=mine \
--mysql-password=xxxxx \
--mysql-db=gearman \
--mysql-table=gearman_queue
然后可以把worker运行起来,可以多开几个终端,例如在三个终端跑worker,命令如下:
php /path/to/folder/worker.php
然后再执行client去触发任务:
php /path/to/folder/client.php
剩下就交给gearman去分发任务了,worker开始并发地高效处理任务啦!
当然我们也要考虑监控和管理worker,可以用shell去监听和处理worker个数,也可以自己编写一个Gearman manager工具。这是后面可以聊的,到时候另开一篇文章吧。 除此之外,其他我们对于worker部分完全可以考虑使用一些异构语言,如java或者golang,PHP只做客户端使用,有人已经编写了grpc去实现了。
今年gearman的作者还在不断迭代,目前最新版本是1.1.19.1, 我收回之前的话,还是很多人在为这个框架付出,听说10年前左右雅虎已经大面积使用这个gearman框架来做新闻聚合了,当然jm也有用。
gearman=swoole+任务分发,老骥伏枥,志在千里罢了。