Comment puis-je compter efficacement les lignes dans un fichier volumineux à l'aide de Python ?

Détermination du nombre de lignes d'un fichier volumineux en Python avec une efficacité améliorée

Le comptage de lignes dans des fichiers volumineux présente des défis en termes de mémoire et de temps consommation. Cet article propose une approche optimisée pour résoudre ce problème, en fournissant des solutions pour le comptage de lignes tout en minimisant l'utilisation des ressources.

Approche efficace en mémoire

La méthode conventionnelle, illustrée par le code fourni énumère les lignes du fichier, en les comptant séquentiellement. Bien que fonctionnelle, cette approche nécessite une itération sur l'intégralité du fichier en mémoire, consommant des ressources mémoire importantes.

Approche plus rapide avec sommation

Une approche plus rapide implique l'utilisation d'une expression génératrice pour compter les lignes directement. L'extrait de code suivant illustre cette méthode :

num_lines = sum(1 for _ in open('myfile.txt'))

Cette approche fonctionne en itérant sur le fichier une ligne à la fois, en incrémentant un compteur pour chaque ligne rencontrée. Étant donné que l'expression du générateur ne produit qu'une seule ligne à la fois, elle élimine la consommation excessive de mémoire.

Améliorateur de performances avec lecture tamponnée

Pour améliorer encore la vitesse et la robustesse, tirez parti de la lecture tamponnée la lecture est recommandée :

with open("myfile.txt", "rbU") as f:
    num_lines = sum(1 for _ in f)

La lecture tampon optimise l'accès aux fichiers en récupérant les données en morceaux plus gros, réduisant ainsi la surcharge des fichiers répétés opérations. Cependant, veuillez noter que le caractère « U » en mode « rbU » est obsolète depuis Python 3.3, donc « rb » doit être utilisé à la place (supprimé dans Python 3.11).

En employant ces techniques, vous pouvez efficacement comptez les lignes dans les fichiers volumineux tout en économisant la mémoire et en minimisant le temps d'exécution.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!