建立一個空的 Pandas DataFrame 進行迭代填充
建立一個空的 Pandas DataFrame 並迭代填充它是資料操作中的常見任務。然而，理想的方法可能不會立即顯現出來。
逐行 DataFrame 增長的陷阱
您提供的程式碼片段是建立空 DataFrame 並迭代填充它的一種方法。然而，這種方法效率低下，並且可能會導致與記憶體相關的問題。原因是您要為每次迭代建立一個新行，這需要重新分配記憶體。隨著 DataFrame 的成長，這個過程變得越來越繁瑣。
首選方法：在列表中累積數據
首選方法是在列表中累積數據，然後使用一步創建 DataFrame pd.DataFrame() 函數。這種方法明顯更有效且更節省記憶體。它的運作原理如下：
列表累積的優點
-
計算效率：追加到列表比追加到DataFrame 快得多，尤其是對於大型資料集。
-
記憶體效率： 與 DataFrame 相比，清單佔用的記憶體較少。
-
自動資料類型推斷： pd.DataFrame 自動推斷每列的資料類型，省去手動分配類型的麻煩。
-
自動索引建立：從建立 DataFrame 時清單中，pandas 會自動指派 RangeIndex 作為行索引，而無需手動索引管理。
要避免的替代方案
-
在循環內追加或連接：由於每個方法都需要不斷地重新分配內存，因此該方法效率非常低
-
循環內的loc：與循環內的append或concat類似，每次迭代使用df. loc[len(df)]會導致記憶體開銷。
-
空的NaN DataFrame： 建立一個充滿NaN 的空DataFrame 也會導致物件資料類型，這可能會阻礙pandas
結論
處理大型資料集時，建議將資料累積到清單中並一步建立DataFrame。它計算效率高、記憶體友好，並且簡化了資料操作過程。
以上是迭代創建和填充 Pandas DataFrame 的最有效方法是什麼？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
