Votre python est un processus 32 bits. L'espace d'adressage mémoire du processus 32 bits est de 4 Go, dont seulement 2 Go sont utilisés par le processus utilisateur et les 2 Go restants sont réservés au noyau. Le passage à Python 64 bits peut atténuer ce problème. Mais le meilleur moyen est de limiter le nombre de processus que vous pouvez ouvrir et de limiter le nombre de threads dans chaque processus à un nombre pas trop élevé. En fait, les meilleures performances sont obtenues lorsque le nombre total de threads atteint environ le double du cœur du processeur, et plus n'est pas toujours mieux.
De plus, essayez d'économiser l'utilisation de la mémoire, ne lisez pas tout dans la mémoire, réutilisez autant que possible les variables volumineuses et ne copiez pas trop.