Heim > Backend-Entwicklung > Python-Tutorial > Wie kann ich mit Python eine große Datei effizient in umgekehrter Reihenfolge lesen?

Wie kann ich mit Python eine große Datei effizient in umgekehrter Reihenfolge lesen?

Susan Sarandon
Freigeben: 2024-11-25 09:59:11
Original
566 Leute haben es durchsucht

How Can I Efficiently Read a Large File in Reverse Order Using Python?

Eine Datei in umgekehrter Reihenfolge in Python lesen

Wenn Sie mit einer großen Datei arbeiten und deren Inhalt von der letzten Datei lesen müssen In der ersten Zeile sind die in Python integrierten Funktionen möglicherweise nicht geeignet. Hier ist eine effiziente Lösung, um diese Aufgabe zu bewältigen:

Reverse Line Reader Generator

Der folgende Code definiert eine Generatorfunktion, reverse_readline, die die Zeilen einer Datei in umgekehrter Reihenfolge liefert Befehl. Es verwendet einen pufferbasierten Ansatz, um die Leistung zu optimieren und große Dateien effektiv zu verarbeiten:

import os

def reverse_readline(filename, buf_size=8192):
    """A generator that returns the lines of a file in reverse order"""
    with open(filename, 'rb') as fh:
        segment = None
        offset = 0
        fh.seek(0, os.SEEK_END)
        file_size = remaining_size = fh.tell()
        while remaining_size > 0:
            offset = min(file_size, offset + buf_size)
            fh.seek(file_size - offset)
            buffer = fh.read(min(remaining_size, buf_size))
            # remove file's last "\n" if it exists, only for the first buffer
            if remaining_size == file_size and buffer[-1] == ord('\n'):
                buffer = buffer[:-1]
            remaining_size -= buf_size
            lines = buffer.split('\n'.encode())
            # append last chunk's segment to this chunk's last line
            if segment is not None:
                lines[-1] += segment
            segment = lines[0]
            lines = lines[1:]
            # yield lines in this chunk except the segment
            for line in reversed(lines):
                # only decode on a parsed line, to avoid utf-8 decode error
                yield line.decode()
        # Don't yield None if the file was empty
        if segment is not None:
            yield segment.decode()
Nach dem Login kopieren

Verwendung:

Um diesen Generator zu verwenden, können Sie einfach darüber iterieren in einer for-Schleife:

for line in reverse_readline('myfile.txt'):
    print(line)
Nach dem Login kopieren

Dadurch werden die Zeilen der Datei in umgekehrter Reihenfolge gedruckt.

Das obige ist der detaillierte Inhalt vonWie kann ich mit Python eine große Datei effizient in umgekehrter Reihenfolge lesen?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Neueste Artikel des Autors
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage