この状況では、Python は pickle または csv を使用する必要がありますか?
给我你的怀抱
给我你的怀抱 2017-05-18 11:00:47
0
2
858

データを保存するために手元に何百もの M csv があり、これらのデータを読み取ってプロットするために pandas と matplotlib を使用する必要があることがよくあります。描画する前に、通常、前処理、スライス、およびその他のクリーニング操作を実行する必要があります。図は頻繁に操作およびレポートする必要があるため、操作および操作には jupyter ノートブックの %matplotlib Notebook を使用します。元のデータから生成されたデータを csv に保存して、csv を直接読み込んで次の表示用の中間データを取得できるようにしますか、それとも pickle を使用して保存し、次回使用するために pickle を読み込んだ方が速いですか?

给我你的怀抱
给我你的怀抱

全員に返信(2)
洪涛

CSV は安全でなければなりません。pickle を別の Python バージョンに変更すると、読み取りエラーが発生する可能性があるようです。これは汎用形式ではありません。数百MB程度であれば、実際にCSVの読み込み速度は遅くありません。さらに、hdf5 という本格的なデータ交換フォーマットがあります。

いいねを押す +0
Peter_Zhu

csv では十分ではないと思われる場合は、hdf5 ファイルを試してみてください

いいねを押す +0
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート