大型 DataFrame 可能很难使用,尤其是在通过函数传递它们时。使用大型 DataFrame 时可能会出现内存错误,将它们切成较小的块可以帮助缓解此问题。
将 DataFrame 切成较小的块:
<code class="python">n = 200000 # chunk row size list_df = [df[i:i+n] for i in range(0, df.shape[0], n)]</code>
<code class="python">list_df = np.array_split(df, math.ceil(len(df)/n))</code>
要访问块,只需索引列表即可:
<code class="python">list_df[0] list_df[1] etc...</code>
通过 AcctName 拆分 DataFrame:
<code class="python">list_df = [] for n, g in df.groupby('AcctName'): list_df.append(g)</code>
拆分 DataFrame 后分成块,它可以通过函数传递,然后使用 pd.concat 重新组装成单个 DataFrame。
以上是如何有效处理 Pandas 中的大型 DataFrame 以避免内存错误?的详细内容。更多信息请关注PHP中文网其他相关文章!