讀取巨大的CSV 檔案：最佳化記憶體和速度
當嘗試處理具有數百萬行和數百列的大量CSV文件時，傳統方法使用迭代器的方法可能會導致與記憶體相關的問題。本文探討了 Python 2.7 中處理大規模 CSV 資料的最佳化技術。
記憶體最佳化：
記憶體問題的癥結在於建立記憶體清單來儲存大型資料集。為了緩解這個問題，Python 提供了yield 關鍵字，它將函數轉換為生成器函數。這些函數在每個yield語句後暫停執行，允許在遇到資料時增量處理資料。
透過使用生成器函數，您可以逐行處理數據，無需將整個檔案儲存在記憶體中。以下程式碼示範了這種方法：
import csv
def getstuff(filename, criterion):
with open(filename, "rb") as csvfile:
datareader = csv.reader(csvfile)
yield next(datareader) # yield header row
count = 0
for row in datareader:
if row[3] == criterion:
yield row
count += 1
elif count: # stop processing when a consecutive series of non-matching rows is encountered
return速度增強：
此外，您可以利用 Python 的 dropwhile 和 takewhile 函數進一步提高處理速度。這些功能可以有效地過濾數據，使您能夠快速找到感興趣的行。具體方法如下：
from itertools import dropwhile, takewhile
def getstuff(filename, criterion):
with open(filename, "rb") as csvfile:
datareader = csv.reader(csvfile)
yield next(datareader) # yield header row
yield from takewhile( # yield matching rows
lambda r: r[3] == criterion,
dropwhile( # skip non-matching rows
lambda r: r[3] != criterion, datareader))
return簡化循環處理：
透過組合產生器函數，您可以大幅簡化循環資料集的過程。以下是 getstuff 和 getdata 的最佳化程式碼：
def getdata(filename, criteria):
for criterion in criteria:
for row in getstuff(filename, criterion):
yield row現在，您可以直接迭代 getdata 產生器，它會逐行產生行流，釋放寶貴的記憶體資源。
請記住，目標是最大限度地減少記憶體資料存儲，同時最大限度地提高處理效率。透過應用這些優化技術，您可以有效地處理巨大的 CSV 文件，而不會遇到記憶體障礙。
以上是如何在 Python 2.7 中有效處理巨大的 CSV 檔案而不遇到記憶體問題？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
