目前我有一个脚本, 从帝联的 CDN 外链获取一下文件作为备份.
使用的是
Python 2.7.10 requests 2.8.1目前碰到一个情况, 使用 requests 下载大文件的时候会出现下载文件不完整的情况, 出现的概率非常大, 应该不会是网络原因导致的. 相关代码概括如下:
requests.adapters.DEFAULT_RETRIES = 5 response = requests.get(url, stream=True) status = response.status_code if status == 200: total_size = int(response.headers['Content-Length']) with open('xxx', 'wb') as of: for chunk in response.iter_content(chunk_size=102400): if chunk: of.write(chunk)下载完毕后我会使用如下方式和上面的 total_size 进行对比
with open('xxx', 'r') as f: if isinstance(f, file): length = os.fstat(f.fileno()).st_size if total_size == length: True else: False代码逻辑如上. 但是对于 100M 以上的文件, 几乎都是保存在本地的文件和获取的响应头里面的 content-length 不一致.
是我 requests 的用法不对吗? 还是有其他更好的办法可以保证文件能完整的下载呢?
找到个文章，可以很好的解决requests下载不完整的问题：https://www.jianshu.com/p/f92704c42b49
主要用到了response.raw.tell()和response.headers.get('Content-Length')
网络本来就是不稳定的，下载大文件时网络中断是很正常的事情，只要你有一定的概率成功就可能是网络的问题。
解决方法就是下载后比较大小，如果不完整就断点续传。参考：python 编写断点续传下载软件
另一种方法是调用 curl 之类支持断点续传的下载工具。
楼主有解决这个问题么，同遇到了，没有报任何错误，几M的文件都下载不完整，用法和你一样