Sollte Python in dieser Situation Pickle oder CSV verwenden?
给我你的怀抱
给我你的怀抱 2017-05-18 11:00:47
0
2
857

Ich habe viele Hundert M-CSV-Dateien zur Verfügung, um einige Daten zu speichern, und ich muss oft Pandas und Matplotlib verwenden, um diese Daten zu lesen und darzustellen. Vor dem Zeichnen ist es normalerweise erforderlich, Vorverarbeitungs-, Slicing- und andere Reinigungsvorgänge durchzuführen. Da mit den Zahlen häufig interagiert und berichtet werden muss, verwende ich %matplotlib notebook im Jupyter-Notebook, um diese aus den Originaldaten zu generieren Daten im CSV-Format gespeichert werden, damit sie direkt aus dem CSV-Format gelesen werden können, um die Zwischendaten für die nächste Anzeige zu erhalten, oder sollten sie mit Pickle gespeichert werden, damit Pickle für die spätere Verwendung schneller gelesen werden kann?

给我你的怀抱
给我你的怀抱

Antworte allen(2)
洪涛

肯定是csv安全啊,pickle似乎换一个python版本都可能导致读取失败的,这个不是通用格式。几百兆的话,csv其实读取速度不慢。更何况还有hdf5,这些才是正经的数据交换格式。

Peter_Zhu

csv够用了,如果你觉得还不够快可以试试hdf5文件

Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage