登录  /  注册

Python服务器编程:使用django-celery进行任务队列

王林
发布: 2023-06-18 17:09:11
原创
1275人浏览过

python服务器编程:使用django-celery进行任务队列

随着Web应用程序的日益流行和用户数量的增加,现代Web应用程序需要通过处理复杂且时间敏感的任务来保持生产力和稳定性。从电子商务网站上的订单处理和系统日志文件的处理到计算机视觉和自然语言处理的高级应用,这些任务需要独立的进程来处理。

常规做法是使用 cron 或者类似的作业调度器,但存在以下问题:

  • 难以动态管理和分配任务。
  • 难以重试失败的任务。
  • 无法轻松地将任务分发到多个服务器。
  • 无法跟踪和监控作业和任务的状态。

因此,为了解决这些问题,我们需要一种任务队列服务。

在Python生态系统中,Celery是最常用的任务队列。它是一种面向分布式系统设计的任务队列,适用于高并发,高吞吐量的Web应用程序。

在本文中,我们将介绍如何使用Celery和Django开发任务队列服务。我们将使用Django-Celery作为Celery的Django集成。

  1. 安装相关依赖

首先,我们需要将Celery和Django-Celery的依赖项安装到项目中。您可以使用pip工具来安装它们。

pip install celery django-celery

  1. 配置Celery

在我们开始使用Celery之前,我们需要配置Celery。为此,请创建一个名为celery.py的文件,该文件应该位于您的项目的根目录中。该文件的内容如下:

from __future__ import absolute_import, unicode_literals

import os

from celery import Celery

# Set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'example.settings')

app = Celery('example')

# Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()
登录后复制

注意:如果您希望使用在settings.py文件中指定的配置来配置Celery,请将'example.settings'替换为实际的Django项目名称。

  1. 配置Django

现在,我们需要在settings.py文件中配置Django,以便它支持Celery。

# Celery Configuration
CELERY_BROKER_URL = 'redis://localhost:6379/0'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'

CELERY_ACCEPT_CONTENT = ['application/json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'

# app注册
INSTALLED_APPS = (
    ...
    'django_celery_results',
    'django_celery_beat',
    ...
)
登录后复制

在这里,我们配置了两个关键设置。(1)CELERY_BROKER_URL – 这告诉Celery使用Redis作为其中间件服务。(2)INSTALLED_APPS – 我们需要在我们的应用程序中注册Django-Celery的两个应用程序。

  1. 创建一个任务

现在我们已经配置好了Celery和Django,我们可以开始定义一些任务了。我们将创建一个示例任务来演示任务的结构和语法。在app/tasks.py文件中,添加以下内容。

from django.core.mail import send_mail
from celery import shared_task
from datetime import datetime


@shared_task
def send_email_task():
    subject = 'Celery Email Demo'
    message = 'This email is sent using celery!'
    from_email = 'demo@example.com'
    recipient_list = ['recipient@example.com']
    send_mail(subject, message, from_email, recipient_list)

    print('Email Sent Successfully')
    return None


@shared_task
def print_time():
    now = datetime.now()
    current_time = now.strftime("%H:%M:%S")
    print("Current Time =", current_time)

    return None
登录后复制

在这里,我们定义了两个任务。它们分别是send_email_task和print_time任务。注意这一点,我们将任务修饰为shared_task装饰器。这使得我们的任务可以在任何地方访问,使它们可以被多个进程调用。

  1. 启动Worker进程

现在,我们已经定义了任务,我们需要启动worker进程并告诉它们执行哪些任务。

打开一个终端窗口,并输入以下命令:

$ celery -A example worker --loglevel=info
登录后复制

注意,example代表Django项目的名称。在这里,我们使用--loglevel = info来控制worker的日志级别。

  1. 通过Django管理界面调度任务

Django-Celery支持在Django Admin界面中管理和调度任务。我们需要注册Django-Celery的两个应用程序。我们可以在admin.py文件中添加以下代码。

from django.contrib import admin
from django_celery_beat.admin import PeriodicTaskAdmin, IntervalScheduleAdmin
from django_celery_results.models import TaskResult
from django_celery_results.admin import TaskResultAdmin
from core.tasks import send_email_task, print_time


class Tasks(admin.ModelAdmin):
    actions = ['send_email_task', 'print_time']

    def send_email_task(self, request, queryset):
        send_email_task.delay()

    send_email_task.short_description = "Send Email Task"

    def print_time(self, request, queryset):
        print_time.delay()

    print_time.short_description = "Print Current Time"


admin.site.unregister(TaskResult)
admin.site.register(TaskResult, TaskResultAdmin)
admin.site.register(IntervalSchedule, IntervalScheduleAdmin)
admin.site.register(PeriodicTask, PeriodicTaskAdmin)
admin.site.register(Tasks)
登录后复制

在这里,我们将我们的任务添加到admin界面中。我们可以通过点击“执行邮件任务”和“打印当前时间”按钮来执行这些任务。

现在,我们已经成功地使用Django-Celery建立了一个任务队列服务。我们可以将其用于不同的应用程序,并使用WebSocket和HTTP协议等通信协议将其分发到多个服务器中。

结论

本文介绍了如何使用Celery和Django开发任务队列服务。我们使用Django-Celery作为Celery的Django集成,并演示了如何定义任务,配置Celery,启动Worker,调度任务以及管理任务。任务队列服务提供了处理复杂和耗时的任务的一种极佳方式,并使Web应用程序的性能和可靠性更好。

以上就是Python服务器编程:使用django-celery进行任务队列的详细内容,更多请关注php中文网其它相关文章!

智能AI问答
PHP中文网智能助手能迅速回答你的编程问题,提供实时的代码和解决方案,帮助你解决各种难题。不仅如此,它还能提供编程资源和学习指导,帮助你快速提升编程技能。无论你是初学者还是专业人士,AI智能助手都能成为你的可靠助手,助力你在编程领域取得更大的成就。
来源:php中文网
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
关于CSS思维导图的课件在哪? 课件
凡人来自于2024-04-16 10:10:18
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责申明 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送
PHP中文网APP
随时随地碎片化学习
PHP中文网抖音号
发现有趣的

Copyright 2014-2024 //m.sbmmt.com/ All Rights Reserved | php.cn | 湘ICP备2023035733号