Heim > Backend-Entwicklung > Python-Tutorial > Wie kann ich eine Datei in Python effizient rückwärts lesen?

Wie kann ich eine Datei in Python effizient rückwärts lesen?

Barbara Streisand
Freigeben: 2024-12-01 19:20:15
Original
154 Leute haben es durchsucht

How Can I Efficiently Read a File Backwards in Python?

So lesen Sie eine Datei effizient in umgekehrter Reihenfolge mit Python

So lesen Sie eine Datei in umgekehrter Reihenfolge, wobei Sie mit der letzten Zeile beginnen Und wenn wir zum Anfang gehen, bietet Python eine robuste Lösung: eine Generatorfunktion, die die Zeilen in umgekehrter Reihenfolge durchläuft.

Effizienter Generator Lösung:

Die folgende Generatorfunktion, reverse_readline, löst diese Aufgabe mit hoher Effizienz:

import os

def reverse_readline(filename, buf_size=8192):
    """A generator that returns the lines of a file in reverse order"""
    with open(filename, 'rb') as fh:
        segment = None
        offset = 0
        fh.seek(0, os.SEEK_END)
        file_size = remaining_size = fh.tell()
        while remaining_size > 0:
            offset = min(file_size, offset + buf_size)
            fh.seek(file_size - offset)
            buffer = fh.read(min(remaining_size, buf_size))
            # remove file's last "\n" if it exists, only for the first buffer
            if remaining_size == file_size and buffer[-1] == ord('\n'):
                buffer = buffer[:-1]
            remaining_size -= buf_size
            lines = buffer.split('\n'.encode())
            # append last chunk's segment to this chunk's last line
            if segment is not None:
                lines[-1] += segment
            segment = lines[0]
            lines = lines[1:]
            # yield lines in this chunk except the segment
            for line in reversed(lines):
                # only decode on a parsed line, to avoid utf-8 decode error
                yield line.decode()
        # Don't yield None if the file was empty
        if segment is not None:
            yield segment.decode()
Nach dem Login kopieren

Diese Funktion behält einen Offset bei und liest die Datei in umgekehrten Blöcken, beginnend mit dem Ende. Er gibt die Zeilen in umgekehrter Reihenfolge aus und behandelt dabei den Sonderfall der letzten Zeile, die möglicherweise einen Zeilenumbruch am Ende hat.

Um diesen Generator zu verwenden, öffnen Sie einfach die Datei im Binärmodus und durchlaufen Sie die Zeilen in umgekehrter Reihenfolge:

for line in reverse_readline("my_file.txt"):
    # Process line in reverse order
Nach dem Login kopieren

Das obige ist der detaillierte Inhalt vonWie kann ich eine Datei in Python effizient rückwärts lesen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Neueste Artikel des Autors
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage