Une explication approfondie de la bibliothèque MultiProcessing en python

Le module MultiProcessing est un excellent package similaire au module multithread MultiThreading pour gérer la concurrence
J'ai été en contact avec cette bibliothèque un peu auparavant, mais je ne l'ai pas étudié en profondeur. Je m'ennuyais et je l'ai étudié un peu pour dissiper ma confusion.
Aujourd'hui, nous étudierons les méthodes apply_async et map. La rumeur veut que ces deux méthodes allouent les processus du pool de processus aux fonctions associées. Je souhaite le vérifier.
Regardez l'explication de ces deux sites officiels :
apply_async(func[, args[, kwds[, callback[, error_callback]]]])
Une variante de la méthode apply() qui renvoie un objet de résultat.

Si le rappel est spécifié, il doit s'agir d'un appelable qui accepte un seul argument. Lorsque le résultat est prêt, le rappel lui est appliqué, sauf si l'appel a échoué, auquel cas le error_callback est appliqué. à la place.

Si error_callback est spécifié, il doit s'agir d'un appelable qui accepte un seul argument. Si la fonction cible échoue, alors error_callback est appelé avec l'instance d'exception.

Les rappels doivent se terminer immédiatement. car sinon, le thread qui gère les résultats sera bloqué.

map(func, iterable[, chunksize])
Un équivalent parallèle de la fonction intégrée map() (elle ne prend en charge que un argument itérable cependant). Il bloque jusqu'à ce que le résultat soit prêt.

Cette méthode découpe l'itérable en un certain nombre de morceaux qu'elle soumet au pool de processus en tant que tâches distinctes. être spécifié en définissant chunksize sur un entier positif.

Le pool peut fournir un nombre spécifié de processus que les utilisateurs peuvent appeler lorsqu'une nouvelle demande est soumise au pool, si le pool n'est pas plein, une nouvelle le sera. être créé. Le processus est utilisé pour exécuter la requête ; mais si le nombre de processus dans le pool a atteint le maximum spécifié, alors la requête attendra la fin d'un processus dans le pool, puis un nouveau processus sera créé pour s'exécuter. it

Jetons un coup d'oeil au programme :

from multiprocessing import Poolimport timeimport osdef func(msg):print('msg: %s %s' % (msg, os.getpid()))
    time.sleep(3)print("end")if __name__ == '__main__':
    pool = Pool(4)for i in range(4):
        msg = 'hello %d' % (i)
        pool.apply_async(func, (msg, ))# pool.map(func, range(4))print("Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~")
    pool.close()
    pool.join()   # 调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束print("Sub-process(es) done.")

Résultats en cours d'exécution :

Supprimer le mappez l'annotation et ajoutez une annotation à la fonction apply_async

Regardez le programme et les résultats en cours d'exécution lorsqu'il n'y a pas assez de processus dans le pool de processus :

from multiprocessing import Poolimport timeimport osdef func(msg):print('msg: %s %s' % (msg, os.getpid()))
    time.sleep(3)print("end")if __name__ == '__main__':
    pool = Pool(3)'''for i in range(4):
        msg = 'hello %d' % (i)
        pool.apply_async(func, (msg, ))'''pool.map(func, range(4))print("Mark~ Mark~ Mark~~~~~~~~~~~~~~~~~~~~~~")
    pool.close()
    pool.join()   # 调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束print("Sub-process(es) done.")

Résultats du programme :

Vous pouvez voir que si le nombre de processus dans le pool de processus est supérieur ou égal au nombre de fois où la fonction doit être exécuté, cela se passera bien et les résultats seront naturels ; mais si le pool de processus Le nombre de processus est inférieur au nombre de fonctions à exécuter, alors un processus sera bloqué, c'est-à-dire deux ou plus les fonctions partagent un processus.
De plus, le deuxième paramètre de la fonction apply_async est passé dans une valeur de paramètre Une fois cette fonction exécutée, un processus sera attribué à la fonction. Par conséquent, si vous en avez besoin. pour attribuer plusieurs processus, vous avez besoin d'une boucle for ou d'une boucle while ; pour la fonction map, sa deuxième valeur de paramètre reçue est un itérateur, il n'est donc pas nécessaire d'utiliser une boucle for. N'oubliez pas que ces deux fonctions implémentent, c'est attribuer tour à tour les processus du pool de processus aux fonctions.

Au fait, le site officiel de MultiProcessing, qui est entièrement en anglais, est très déroutant et pénible à lire, mais aussi très intéressant, je dois dire, qu'il est quand même très utile pour l'anglais...

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!