python - pyspider爬取了接近1G的数据,无法导出csv?
大家讲道理
大家讲道理 2017-04-18 10:31:22
0
4
580

已经增加虚拟机内存至2g,依然无法导出。

大家讲道理
大家讲道理

光阴似箭催人老,日月如移越少年。

membalas semua (4)
伊谢尔伦

一般是分文件导出的,如果一个单位的数据大约是1M的话,就分成1024个文件。

另外,合成1G的csv也是不合实际的,因为1G的csv几乎是打不开的。如果实在是要合成1G的话,把导出的一千多个文件再合成为一份CSV即可,文件合成python很容易实现。

    黄舟

    1G的数据月CSV处理本身就不太合理了。试试看sqlite3。

      阿神

      8G一样不够,建议选择数据库作为存储方案,1G规模的CSV是没有存在的意义的。

        洪涛

        用ftp内网下载飞快.我前两天传8个g.感觉就是几分钟就下载好了

          Muat turun terkini
          Lagi>
          kesan web
          Kod sumber laman web
          Bahan laman web
          Templat hujung hadapan
          Tentang kita Penafian Sitemap
          Laman web PHP Cina:Latihan PHP dalam talian kebajikan awam,Bantu pelajar PHP berkembang dengan cepat!