使用 Celery 和 Docker 在 Django 中运行 Cron 作业-Python教程-PHP中文网

使用 Celery 和 Docker 在 Django 中运行 Cron 作业

WBOY

发布： 2024-08-31 06:01:37

原创

443 人浏览过

Running a Cron Job in Django Using Celery and Docker

Cron 作业简介

cron 作业是按指定时间间隔自动运行的计划任务。这些任务对于自动执行重复操作（例如发送提醒电子邮件、生成报告或清理数据库）非常有用。在 Django 项目中，可以使用 Celery 等工具来设置 cron 作业，这使得调度和管理任务变得简单高效。

设置您的 Django 项目

让我们首先创建一个 Django 项目，安装必要的包，然后使用 Docker 容器化该项目。

创建虚拟环境并安装Django和DRF

打开终端并导航到您的项目目录。
创建并激活虚拟环境：

python -m venv myenv
source myenv/bin/activate  # On Windows, use myenv\Scripts\activate

登录后复制

安装 Django 和 Django REST Framework：

pip install django djangorestframework

登录后复制

创建 Django 项目和应用程序

创建一个新的 Django 项目：

django-admin startproject myproject
cd myproject

登录后复制

创建一个新的 Django 应用程序：

python manage.py startapp myapp

登录后复制

将应用程序添加到您的settings.py：

# myproject/settings.py

INSTALLED_APPS = [
    ...
    'myapp',
    'rest_framework',
]

登录后复制

安装 Celery 和 Redis

安装 Celery 和 Redis：

pip install celery redis

登录后复制

通过创建 celery.py 文件在您的项目中设置 Celery：

# myproject/celery.py
from __future__ import absolute_import, unicode_literals
import os
from celery import Celery

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'myproject.settings')

app = Celery('myproject')
app.config_from_object('django.conf:settings', namespace='CELERY')
app.autodiscover_tasks()

app.conf.beat_schedule = {
    'run-this-task-every-day': {
        'task': 'myapp.tasks.my_scheduled_task',
        'schedule': crontab(minute="00", hour="7"),  # Executes every day at 7 AM
    },
}

app.conf.timezone = 'UTC'

登录后复制

修改 init.py 以使用 Django 加载 Celery：

# myproject/__init__.py
from __future__ import absolute_import, unicode_literals
from .celery import app as celery_app

__all__ = ('celery_app',)

登录后复制

在settings.py中配置Celery：

CELERY_BROKER_URL = os.environ.get('REDIS_URL')
CELERY_RESULT_BACKEND = os.environ.get('REDIS_URL')
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TIMEZONE = 'UTC'
CELERY_BROKER_CONNECTION_RETRY_ON_STARTUP = True

登录后复制

创建芹菜任务

在您的 Django 应用程序中，在tasks.py 中定义任务：

# myapp/tasks.py
from celery import shared_task

@shared_task
def my_scheduled_task():
    print("This task runs every every day.")

登录后复制

创建 Docker 配置

为 Django 的 api 创建一个 Dockerfile（名为：Dockerfile.myapi）：

FROM python:3.8-alpine3.15

ENV PYTHONUNBUFFERED=1
ENV PYTHONDONTWRITEBYTECODE=1

WORKDIR /app

COPY requirements.txt /app

RUN pip install --no-cache-dir -r requirements.txt

COPY . .

EXPOSE 9000

CMD ["gunicorn", "-w", "4", "-b", "0.0.0.0:8000", "myproject.wsgi:application"]

登录后复制

为 celery 创建一个 Dockerfile（名为：Dockerfile.myjob）

FROM python:3.8-alpine3.15

ENV PYTHONUNBUFFERED=1
ENV PYTHONDONTWRITEBYTECODE=1

WORKDIR /app
COPY requirements.txt /app
RUN pip install --no-cache-dir -r requirements.txt
COPY . /app

CMD ["celery", "-A", "myproject", "worker", "--loglevel=info", "--concurrency=4", "-E", "-B"]

登录后复制

创建一个requirements.txt 文件来列出您的依赖项：

Django==4.2
djangorestframework==3.14.0
celery==5.3.1
redis==5.0.0

登录后复制

创建 docker-compose.yml 文件来管理服务：

services:
  app:
    build:
      context: .
      dockerfile: Dockerfile.myapi
    container_name: myapp_api
    ports:
      - 7000:7000
    env_file:
      - .env

  celery:
    build:
      context: .
      dockerfile: Dockerfile.myjob
    container_name: myapp_job
    depends_on:
      - app
    env_file:
      - .env

登录后复制