django-celery-beat:实现动态添加定时任务,即在创建多人任务时添加定时。django-celery-beat插件本质上是对数据库表变化检查,一旦有数据库表改变,调度器重新读取任务进行调度
安装与配置安装
pip install celery pip install django-celery-beat配置
INSTALLED_APPS = ( ..., 'django_celery_beat', ) # settings.py TIME_ZONE = 'Asia/Shanghai' USE_TZ = False # =================Celery 配置================= # 使用redis作为broker REDIS_HOST = 'redis://127.0.0.1:6379/0' # 关闭 UTC CELERY_ENABLE_UTC = False # 设置 django-celery-beat 真正使用的时区 CELERY_TIMEZONE = TIME_ZONE # 使用 timezone naive 模式,不存储时区信息,只存储经过时区转换后的时间 DJANGO_CELERY_BEAT_TZ_AWARE = False # 配置 celery 定时任务使用的调度器,使用django_celery_beat插件用来动态配置任务 CELERY_BEAT_SCHEDULER = 'django_celery_beat.schedulers:DatabaseScheduler'创建django-celery-beat所需要的数据表
python manage.py migrate 创建celery实例,并定义任务 # 由于django_celery_beat用到了Django的ORM,因此首先需要setup django,否则会报错 import os import django os.environ.setdefault("DJANGO_SETTINGS_MODULE", "qaboard.settings") django.setup() from celery import Celery from project import settings from utils.send_msg import send_msg # 使用redis作为消息队列,backend也默认为broker使用的队列服务 app = Celery('test', broker=settings.REDIS_HOST) # 载入django配置文件中以 CELERY 开头的配置 app.config_from_object('project.settings', namespace='CELERY') @app.task def test_task(): send_msg("test celery") 启动celery worker和celery beat celery -A project_celery worker --pool=solo -l info -f logs/celery.log'-A' 是一个全局配置,定义了APP的位置
'--pool' 是POOL的配置,默认是prefork(并发),选择solo之后,发送的任务不会被并发执行,在worker执行任务过程中,再次发送给worker的任务会排队,执行完一个再执行另一个。不需要并发时可以选择此模式以节约服务器资源
'-l' 定义了log级别
'-f' 定义日志文件路径
celery -A project_celery beat -l info -f logs/beat.log --pidfile=logs/celerybeat.pid'--pidfile' 用于定位pidfile,pidfile是一个存储了beat进程的进程id的文件,如果此文件存在且此文件中的进程正在运行中,则不会启动新的beat进程
由于配置中已经声明了调度器,因此这里不需要重新声明,否则需要使用
--scheduler django_celery_beat.schedulers:DatabaseScheduler声明使用DatabaseScheduler
在linux上可以用-B参数同步启动celery beat
celery -A qaboard_celery worker --pool=solo -l info -f logs/celery.log -Bbeat的log会输出到celery.log中
动态添加定时任务 PeriodicTask此模型定义要运行的单个周期性任务。
必须为任务指定一种Schedule,即clocked, interval, crontab, solar四个字段必须填写一个,且只能填写一个
name字段给任务命名,它是unique的
task字段指定运行的Celery任务,如“proj.tasks.test_task”
one_off:默认值为False,如果one_off=True,任务被运行一次后enabled字段将被置为False,即任务只会运行一次
args:传递给任务的参数,是一个json字符串,如 ["arg1", "arg2"]
expires:过期时间,过期的任务将不再会被驱动触发
使用ClockedSchedule会在特定的时间触发任务
def test_clock(): clock = ClockedSchedule.objects.create(clocked_time=datetime.now() + timedelta(seconds=10)) PeriodicTask.objects.create( % str(datetime.now()), task="project_celery.celery_app.test_task", clocked=clock, # 如果使用ClockedSchedule,则one_off必须为True one_off=True )不知道为什么我的任务就是无法通过clock触发,beat.log中有DatabaseScheduler: Schedule changed.的记录,但是到了clock指定的时间任务不会被触发,其他的调度器都是可以正常运行的,如果有知道解决方法的同学可以评论告诉我,感谢
使用IntervalSchedule以特定间隔运行的Schedule
用IntervalSchedule能够实现与ClockedSchedule同样的功能:计算目标时间与当前时间的时间差,令此时间差作为IntervalSchedule的周期,并且将任务的one_off参数置为True
def time_diff(target_time): diff = target_time - datetime.now() return int(diff.total_seconds()) def test_interval(): seconds = time_diff(datetime.strptime("2020-3-19 15:39:00", "%Y-%m-%d %H:%M:%S")) schedule = IntervalSchedule.objects.create(every=seconds, period=IntervalSchedule.SECONDS) PeriodicTask.objects.create( % str(datetime.now()), task="project_celery.celery_app.test_task", interval=schedule, one_off=True ) 使用CrontabSchedule使用CrontabSchedule一定要注意将时区设置为当前地区时区
model参数与crontab表达式的对应关系:
minite, hour, day_of_week, day_of_month, month_of_year