java - 爬虫爬取图片问题?
天蓬老师
天蓬老师 2017-06-23 09:12:30
0
1
771

刚才修改了下POM,大家可以重新下载源码

这是我写的爬虫的项目地址
项目不报错,但是问题是下载图片到本地后经常性的是图片不完整,如下:

这是下载图片的核心代码,如下:

@Override public void run() { Response res = null; try { res = Jsoup.connect(src).ignoreContentType(true).timeout(30000).execute(); byte[] bytes = res.bodyAsBytes(); File file = new File(path + name); if (!file.exists()) { RandomAccessFile raf = new RandomAccessFile(file, "rw"); raf.write(bytes); raf.close(); } } catch (IOException e1) { e1.printStackTrace(); } }

经过资料查询,感觉是范围请求Range的问题或者自己没发现的问题?希望大家给看下,谢谢

天蓬老师
天蓬老师

欢迎选择我的课程,让我们一起见证您的进步~~

全部回复 (1)
typecho
  1. 感觉是响应数据没获取完整,你debug一下看看响应的实际数据大小和你保存的数据大小是否有出入。

  2. 又或者因为还有一部分数据还在缓冲区中,没来得及写到文件,此时进程退出,导致数据不完整,关闭文件流之前执行一下flush操作。

    最新下载
    更多>
    网站特效
    网站源码
    网站素材
    前端模板
    关于我们 免责声明 Sitemap
    PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!