分布式的任务分发框架

官方文档: 安装方法和示例都有,可以详细看一下。

Gearman是一个分发任务的程序框架,可以用在各种场合,与Hadoop相比,Gearman更偏向于任务分发功能。它的任务分布非常简单,简单得可以只需要用脚本即可完成。Gearman最初用于LiveJournal的图片resize功能,由于图片resize需要消耗大量计算资源,因此需要调度到后端多台服务器执行,完成任务之后返回前端再呈现到界面。

Gearman可以做什么

异步处理:图片处理,订单处理,批量邮件/通知之类的

要求高CPU或内存的处理:大容量的数据处理,MapReduce运算,日志聚集,视频编码

分布式和并行的处理

定时处理:增量更新,数据复制

限制速率的FIFO处理

分布式的系统监控任务 

1,安装方法

#安装gearman yum install gearmand #安装libgearman yum install libgearman-devel #安装gearman php扩展 pecl install gearman #添加gearman.so到 php.ini echo "extension=gearman.so" >> /etc/php.ini

没有pecl的话装一下

yum install php-pear

如果pecl没法安装的话,可以直接下载源代码,使用phpize编译安装

 

cd ~/software wget http://pecl.php.net/get/gearman-1.1.2.tgz cd gearman-1.1.2 phpize ./configure make && make install 

2,简单使用示例:(我们使用Gearman来异步处理百度云推送服务)

先看client.php注册事件,client.php

<?php // 创建Gearman对象 $client = new GearmanClient(); // addServer默认是localhost,端口默认是4730,如果不是默认的话可以调整 $client -> addServer(); // $client->addServer("192.168.0.0",4730); echo "Sending job\n"; $username = "test"; $message = "message"; $data = array( "username" => $username, "message" => $message , ); // 注册事件 以及 传递参数 , 多个参数使用json_encode转换 // 任务可以阻塞式运行,还可以指定优先级 ;当然,也可以非阻塞(运行不等待结果)运行 // 可以参考php Gearman api文档 : doNornal, doHigh, doLow,doBackground $result = $client -> doBackground("testFunction", json_encode($data)); if ($result) { echo "Success: $result\n"; } ?> 

再看worker的处理,其实就是注册事件处理函数 , worker.php

<?php $worker = new GearmanWorker(); $worker->addServer(); // 注册事件及事件处理函数 $worker->addFunction("testFunction","handler"); // 运行worker while ($worker->work()); function handler(GearmanJob $job) { $workload = json_decode($job->workload()); echo "received: " . print_r($workload,1); } ?>

可以命令行运行 php client.php , php worker.php ,这里启动顺序最好是先启动worker,这样事件可以得到及时处理;也可以先启动client,事件会在Gearman中排队,等待worker处理;

还可以启动多个worker,Gearman会自动进行负载均衡,分配到不同的worker进行处理。

大家可以发掘更多应用场景...

例如:通过Gearman实现MySQL到Redis的数据同步(异步复制)

Gearman的监控:

可以使用supervisor,也可以使用gearman manager

使用supervisor监控Gearman任务的例子见:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/e091cdaf1bdd5b09d0e0b985f688e949.html