Bagaimanakah Saya Boleh Memproses Fail Besar dalam Python Dengan Cekap Tanpa Memuatkannya Sepenuhnya ke dalam Memori?

Kaedah Malas untuk Membaca Fail Besar dalam Python: Pemprosesan Piecewise

Membaca fail besar dalam Python boleh mencabar, terutamanya jika ia melebihi komputer anda ingatan yang ada. Untuk mengurangkan isu ini, kaedah malas menawarkan penyelesaian dengan membaca fail sekeping demi sekeping, memproses setiap bahagian dan menyimpan hasilnya secara berasingan.

Kaedah 1: Menggunakan Penjana Berasaskan Hasil

Salah satu cara untuk mencipta kaedah malas adalah melalui fungsi penjana yang menghasilkan ketulan data semasa ia dibaca. Ini membolehkan anda mengulangi fail tanpa memuatkan keseluruhan fail ke dalam memori.

def read_in_chunks(file_object, chunk_size=1024):
    while True:
        data = file_object.read(chunk_size)
        if not data:
            break
        yield data

Penggunaan:

with open('really_big_file.dat') as f:
    for piece in read_in_chunks(f):
        process_data(piece)

Kaedah 2: Menggunakan Iter dan Fungsi Pembantu

Pilihan lain ialah menggunakan fungsi iter dan fungsi pembantu untuk menentukan saiz setiap chunk.

f = open('really_big_file.dat')
def read1k():
    return f.read(1024)

for piece in iter(read1k, ''):
    process_data(piece)

Kaedah 3: Menggunakan Lelaran Berasaskan Baris

Jika fail berasaskan baris, anda boleh memanfaatkan fail lazy terbina dalam Python objek yang menghasilkan garisan semasa ia dibaca.

for line in open('really_big_file.dat'):
    process_data(line)

Kaedah malas ini membolehkan pemprosesan fail besar yang cekap dengan membaca hanya bahagian yang diperlukan pada satu masa, mengurangkan penggunaan memori dan mengelakkan sistem hang.

Atas ialah kandungan terperinci Bagaimanakah Saya Boleh Memproses Fail Besar dalam Python Dengan Cekap Tanpa Memuatkannya Sepenuhnya ke dalam Memori?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!