Les grandes structures de données sont-elles partagées ou copiées dans le multitraitement de Python ?

Mémoire partagée en multitraitement

Dans le module multitraitement de Python, la question de savoir si les grandes structures de données sont partagées ou copiées entre les processus est préoccupante.

Préoccupation initiale

Lors de la création de plusieurs processus à l'aide du multitraitement. Processus et de la transmission de grandes listes comme arguments, la préoccupation est de savoir si ces listes sont copiées pour chaque processus ou partagées entre eux. Si chaque processus effectue une copie, cela pourrait augmenter considérablement l'utilisation de la mémoire.

Copie sur écriture

Linux utilise une approche de copie sur écriture, ce qui implique que les données ne sont pas physiquement copiées jusqu'à ce qu'elles soient modifiées. Cela suggère que les listes ne seraient pas dupliquées pour chaque sous-processus.

Comptage de références

Cependant, l'accès à un objet met à jour son décompte de références. Si un sous-processus accède à un élément de liste, son nombre de références augmente. Par conséquent, il n'est pas clair si l'objet entier (la liste) sera copié.

Surveillance de l'utilisation de la mémoire

Les observations indiquent que des objets entiers sont, en fait, dupliqué pour chaque sous-processus, éventuellement en raison du comptage de références. Ceci est problématique si les listes ne peuvent pas être modifiées et que leur nombre de références est toujours positif.

Mémoire partagée dans Python 3.8.0

Python 3.8.0 introduit « vrai » mémoire partagée à l'aide du module multiprocessing.shared_memory. Cela permet la création explicite d'objets de mémoire partagée accessibles à partir de plusieurs processus sans copie.

En résumé, l'approche de copie sur écriture sous Linux réduit la probabilité de copier des structures de données volumineuses, mais le comptage de références peut conduire à une véritable copie. L'utilisation de la « vraie » mémoire partagée dans Python 3.8.0 résout ce problème en fournissant un mécanisme permettant de créer des objets explicitement partagés.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!