Pourquoi NumPy ne parvient-il pas à allouer de grands tableaux sur Ubuntu et comment puis-je y remédier ?

Impossible d'allouer un tableau avec une forme et un type de données

Symptôme

Lors de l'allocation de grands tableaux dans NumPy sur Ubuntu 18, les utilisateurs peuvent rencontrer une erreur « MemoryError : Impossible d'allouer un tableau avec une forme ». Cela se produit malgré une mémoire système suffisante. Notamment, aucun problème de ce type ne se produit sur macOS.

Cause

Le problème provient du mode de gestion de surcharge du système. En mode par défaut (0), le noyau peut rejeter les demandes d'allocation jugées trop excessives pour la mémoire physique.

Résolution

Pour résoudre l'erreur :

1. Vérifiez le mode de surcommission :

   $ cat /proc/sys/vm/overcommit_memory

   Copier après la connexion

   S'il renvoie 0, passez à l'étape 2.

2. Activez le mode « Toujours surcharger » en tant que root :

   $ echo 1 > /proc/sys/vm/overcommit_memory

   Copier après la connexion
3. Réessayez l'allocation du tableau.

Exemple

Pour un tableau de dimensions (156816, 36, 53806), avec un type de données uint8 :

import numpy as np

# Allocate array with "always overcommit" mode enabled
a = np.zeros((156816, 36, 53806), dtype='uint8')
print(a.nbytes)  # 303755101056 bytes

Le système allouera de la mémoire uniquement lorsque des éléments spécifiques du tableau seront écrits. Cela permet l'utilisation de tableaux clairsemés.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!