Comment puis-je partager de grands tableaux en lecture seule entre plusieurs processus dans le multitraitement de Python ?

Objets de mémoire partagée en multitraitement

Dans la bibliothèque multitraitement de Python, vous êtes confronté au défi de partager de grands tableaux en lecture seule entre plusieurs processus simultanément.

Utilisation de la sémantique Fork()

Si votre système d'exploitation utilise la sémantique fork() de copie sur écriture (par exemple, Unix), votre structure de données en lecture seule sera être accessible à tous les processus enfants sans consommation de mémoire supplémentaire. En effet, fork() crée une opération de copie sur écriture, de sorte que les modifications apportées à la structure des données par un processus ne seront écrites que dans son propre espace mémoire, laissant la structure de données d'origine intacte pour les autres processus.

Emballage du tableau dans la mémoire partagée

Pour une plus grande efficacité, convertissez votre tableau en une structure NumPy ou un tableau et stockez-le dans la mémoire partagée. Créez un wrapper multiprocessing.Array autour de lui et transmettez-le à vos fonctions.

Objets partagés inscriptibles

Si vous avez besoin d'objets partagés inscriptibles, utilisez des mécanismes de synchronisation ou de verrouillage. le multitraitement propose deux méthodes :

• Mémoire partagée pour les valeurs simples, les tableaux ou les types de ctypes
• Proxy de gestionnaire, où un processus stocke la mémoire et un gestionnaire gère l'accès des autres

L'approche proxy Manager peut gérer des objets Python arbitraires, mais est plus lente en raison de la sérialisation et de la désérialisation des objets impliquées dans la communication inter-processus.

Approches alternatives

Au-delà du multitraitement, il existe diverses bibliothèques de traitement parallèle en Python. Considérez ces options si vous avez des exigences spécifiques auxquelles le multitraitement peut ne pas répondre de manière adéquate.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!