Bagaimana Mengendalikan Fail CSV Besar dengan Berkesan dalam Python 2.7?

Membaca Fail .csv Besar dalam Python

Masalah: Membaca fail .csv besar-besaran (sehingga 1 juta baris, 200 lajur) dalam Python 2.7 menghadapi ralat ingatan.

Pendekatan awal berulang melalui keseluruhan fail dan menyimpan data dalam ingatan sebagai senarai. Walau bagaimanapun, kaedah ini menjadi tidak praktikal untuk fail besar, kerana ia menggunakan memori yang berlebihan.

Penyelesaian:

1. Proses Baris Seperti yang Dihasilkan:

Elakkan memuatkan keseluruhan fail ke dalam memori. Sebaliknya, proses baris semasa ia dijana menggunakan fungsi penjana.

def getstuff(filename, criterion):
    with open(filename, "rb") as csvfile:
        datareader = csv.reader(csvfile)
        yield next(datareader)  # yield the header row
        for row in datareader:
            if row[3] == criterion:
                yield row

2. Gunakan Fungsi Penjana untuk Penapisan:

Tapis data semasa melelaran melalui fail menggunakan fungsi penjana. Pendekatan ini membolehkan pemadanan berbilang baris berturut-turut memenuhi kriteria tertentu.

def getstuff(filename, criterion):
    with open(filename, "rb") as csvfile:
        datareader = csv.reader(csvfile)
        yield next(datareader)  # yield the header row
        yield from takewhile(
            lambda r: r[3] == criterion,
            dropwhile(lambda r: r[3] != criterion, datareader))
        return

3. Optimumkan Penggunaan Memori:

Refactor getdata() untuk menggunakan fungsi penjana juga, memastikan hanya satu baris disimpan dalam ingatan pada bila-bila masa.

def getdata(filename, criteria):
    for criterion in criteria:
        for row in getstuff(filename, criterion):
            yield row

Petua Tambahan untuk Kelajuan:

• Gunakan csv.reader dengan parameter saiz ketulan: Baca fail dalam ketulan yang lebih kecil untuk mengurangkan jejak memori.
• Pertimbangkan untuk menggunakan enjin pangkalan data: Jika data sesuai, simpan dalam pangkalan data untuk pemprosesan yang lebih pantas dan cekap.

Atas ialah kandungan terperinci Bagaimana Mengendalikan Fail CSV Besar dengan Berkesan dalam Python 2.7?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!