Rumah > pembangunan bahagian belakang > Tutorial Python > Bagaimanakah Saya Boleh Membaca Fail Besar dengan Cekap dalam Susunan Terbalik Menggunakan Python?

Bagaimanakah Saya Boleh Membaca Fail Besar dengan Cekap dalam Susunan Terbalik Menggunakan Python?

Susan Sarandon
Lepaskan: 2024-11-25 09:59:11
asal
575 orang telah melayarinya

How Can I Efficiently Read a Large File in Reverse Order Using Python?

Membaca Fail dalam Susunan Terbalik dalam Python

Jika anda sedang bekerja dengan fail yang besar dan perlu membaca kandungannya dari yang terakhir baris ke yang pertama, fungsi terbina dalam Python mungkin tidak sesuai. Berikut ialah penyelesaian yang cekap untuk menangani tugas ini:

Penjana Pembaca Talian Terbalik

Kod berikut mentakrifkan fungsi penjana, reverse_readline, yang menghasilkan baris fail secara terbalik pesanan. Ia menggunakan pendekatan berasaskan penimbal untuk mengoptimumkan prestasi dan mengendalikan fail besar dengan berkesan:

import os

def reverse_readline(filename, buf_size=8192):
    """A generator that returns the lines of a file in reverse order"""
    with open(filename, 'rb') as fh:
        segment = None
        offset = 0
        fh.seek(0, os.SEEK_END)
        file_size = remaining_size = fh.tell()
        while remaining_size > 0:
            offset = min(file_size, offset + buf_size)
            fh.seek(file_size - offset)
            buffer = fh.read(min(remaining_size, buf_size))
            # remove file's last "\n" if it exists, only for the first buffer
            if remaining_size == file_size and buffer[-1] == ord('\n'):
                buffer = buffer[:-1]
            remaining_size -= buf_size
            lines = buffer.split('\n'.encode())
            # append last chunk's segment to this chunk's last line
            if segment is not None:
                lines[-1] += segment
            segment = lines[0]
            lines = lines[1:]
            # yield lines in this chunk except the segment
            for line in reversed(lines):
                # only decode on a parsed line, to avoid utf-8 decode error
                yield line.decode()
        # Don't yield None if the file was empty
        if segment is not None:
            yield segment.decode()
Salin selepas log masuk

Penggunaan:

Untuk menggunakan penjana ini, anda hanya boleh mengulanginya dalam gelung untuk:

for line in reverse_readline('myfile.txt'):
    print(line)
Salin selepas log masuk

Ini akan mencetak baris fail dalam susunan terbalik.

Atas ialah kandungan terperinci Bagaimanakah Saya Boleh Membaca Fail Besar dengan Cekap dalam Susunan Terbalik Menggunakan Python?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

sumber:php.cn
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Artikel terbaru oleh pengarang
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan