celery中,我做这样的处理:
一个url经过a, b, c三个的函数,分别获得返回值,其中任意函数结果均与任意其他函数结果不相关,然后汇总起来,交给之后的流程.这样,我自然想到并行运行三个函数来加快处理速度.
然而由于一开始的设计问题, a函数式被设计成了一次可以处理多个url的形式,而一个一个的处理会非常慢.
@celery.task
def a(url_list):
'...do something...'
for url in url_list:
b.delay(url)我尝试这样控制,然而任务似乎并不能嵌套.
那么,如何设计可以比较好的满足我这种比较奇怪的流程和要求呢?
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
A; b; c doivent être séparés et écrits en 3 tâches. En même temps, une valeur d'état doit être enregistrée dans la base de données pour représenter l'état d'exécution des 3 tâches. la valeur du statut doit être modifiée et vérifiée. Si les deux autres tâches sont terminées, si les deux sont terminées, résumez les résultats de la tâche, puis traitez-les.
@xiaoboost La maintenance manuelle du statut est réalisable, mais prend un peu de temps.
Le céleri peut concevoir le processus d'exécution, reportez-vous au document : Conception de flux de travail
Les besoins du sujet peuvent être résolus avec des accords, et la valeur peut être renvoyée dans la tâche céleri.
BTW : faites attention à plusieurs options liées aux valeurs de retour dans la configuration de Celery, comme cette task_ignore_result