Comment pouvons-nous accélérer les remplacements d'expressions régulières pour supprimer des mots de millions de phrases en Python ?

Accélération des remplacements d'expressions régulières en Python

Problème

Le code Python suivant vise à supprimer efficacement des mots spécifiques d'une large collection de phrases, garantissant que les remplacements ne se produisent qu'aux limites des mots :

import re

for sentence in sentences:
  for word in compiled_words:
    sentence = re.sub(word, "", sentence)

Bien que cette approche fonctionne, elle est lente et prend des heures pour traiter des millions de phrases. Il est nécessaire d'explorer des solutions plus rapides.

Méthode Regex plus rapide

Une version optimisée de l'approche regex peut améliorer considérablement les performances. Au lieu d'utiliser une union d'expressions régulières lente, qui devient inefficace à mesure que le nombre de mots interdits augmente, une expression régulière basée sur Trie peut être créée.

Un Trie est une structure de données qui organise efficacement les mots interdits. En utilisant un Trie, un seul modèle d'expression régulière peut être généré qui remplace avec précision les mots aux limites des mots sans la surcharge de performances liée à la vérification de chaque mot individuellement.

Cette approche d'expression régulière basée sur Trie peut être mise en œuvre en suivant les étapes suivantes :

1. Construisez une structure de données Trie à partir des mots interdits.
2. Convertissez le Trie en regex pattern.
3. Utilisez le modèle regex pour des remplacements de mots efficaces.

Approche basée sur des ensembles

Pour les situations où l'expression régulière ne convient pas, une alternative plus rapide est possible en utilisant une approche basée sur des ensembles.

1. Construisez un ensemble de mots interdits.
2. Pour chacun phrase, divisez-la en mots.
3. Supprimez les mots interdits de la liste des mots fractionnés.
4. Reconstruisez la phrase à partir de la liste de mots modifiée.

Cette méthode évite la surcharge de correspondance des expressions régulières, mais sa vitesse dépend de la taille de l'ensemble de mots interdits.

Supplémentaire Optimisations

Pour améliorer encore les performances, envisagez des optimisations supplémentaires :

• Précompilez vos modèles de mots interdits pour les méthodes basées sur les expressions régulières et basées sur des ensembles.
• Parallélisez le remplacement processus sur plusieurs cœurs de processeur.
• Envisagez d'utiliser un modèle de langage pré-entraîné pour l'identification des mots et suppression.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!