Maison > développement back-end > Tutoriel Python > Comment puis-je lire efficacement un fichier volumineux dans l'ordre inverse à l'aide de Python ?

Comment puis-je lire efficacement un fichier volumineux dans l'ordre inverse à l'aide de Python ?

Susan Sarandon
Libérer: 2024-11-25 09:59:11
original
566 Les gens l'ont consulté

How Can I Efficiently Read a Large File in Reverse Order Using Python?

Lecture d'un fichier dans l'ordre inverse en Python

Si vous travaillez avec un fichier volumineux et que vous devez lire son contenu à partir du dernier ligne à la première, les fonctions intégrées de Python peuvent ne pas convenir. Voici une solution efficace pour aborder cette tâche :

Générateur de lecteur de ligne inversée

Le code suivant définit une fonction génératrice, reverse_readline, qui renvoie les lignes d'un fichier en sens inverse commande. Il utilise une approche basée sur des tampons pour optimiser les performances et gérer efficacement les fichiers volumineux :

import os

def reverse_readline(filename, buf_size=8192):
    """A generator that returns the lines of a file in reverse order"""
    with open(filename, 'rb') as fh:
        segment = None
        offset = 0
        fh.seek(0, os.SEEK_END)
        file_size = remaining_size = fh.tell()
        while remaining_size > 0:
            offset = min(file_size, offset + buf_size)
            fh.seek(file_size - offset)
            buffer = fh.read(min(remaining_size, buf_size))
            # remove file's last "\n" if it exists, only for the first buffer
            if remaining_size == file_size and buffer[-1] == ord('\n'):
                buffer = buffer[:-1]
            remaining_size -= buf_size
            lines = buffer.split('\n'.encode())
            # append last chunk's segment to this chunk's last line
            if segment is not None:
                lines[-1] += segment
            segment = lines[0]
            lines = lines[1:]
            # yield lines in this chunk except the segment
            for line in reversed(lines):
                # only decode on a parsed line, to avoid utf-8 decode error
                yield line.decode()
        # Don't yield None if the file was empty
        if segment is not None:
            yield segment.decode()
Copier après la connexion

Utilisation :

Pour utiliser ce générateur, vous pouvez simplement le parcourir dans une boucle for :

for line in reverse_readline('myfile.txt'):
    print(line)
Copier après la connexion

Cela imprimera les lignes du fichier dans l'ordre inverse.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

source:php.cn
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Derniers articles par auteur
Tutoriels populaires
Plus>
Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal