如何针对流式大文件下载优化 Python 的 Requests 库？

使用 Requests 在 Python 中进行流优化的文件下载

Requests 是一个著名的 HTTP 库，在处理超出可用内存的大文件下载时面临着挑战。为了克服这一限制，实现一种流式传输方法至关重要，该方法可以在收到文件块时读取和写入文件块。

传统方法（如提供的代码片段中所示）在这方面存在不足。尽管使用了 r.iter_content()（它以块的形式迭代响应内容），但响应仍然缓存在内存中。

要解决此问题，请考虑在代码中引入流功能。关键的修改在于requests.get()的实现，并将stream参数设置为True。这允许库检索响应内容而不将其存储在内存中：

def download_file(url):
    local_filename = url.split('/')[-1]
    with requests.get(url, stream=True) as r:
        r.raise_for_status()
        with open(local_filename, 'wb') as f:
            for chunk in r.iter_content(chunk_size=8192): 
                f.write(chunk)
    return local_filename

通过此优化，无论下载的文件大小如何，Python 的内存消耗都保持有限。使用具有指定块大小的 iter_content 可确保数据以可管理的部分写入文件，从而避免内存耗尽。

请注意，每个块中返回的字节数可能与指定的块大小不精确对齐。检索到的块大小发生变化并且明显大于指定大小是很常见的。有关此行为的详细信息，请参阅 iter_content 和正文内容工作流程的官方文档。

以上是如何针对流式大文件下载优化 Python 的 Requests 库？的详细内容。更多信息请关注PHP中文网其他相关文章！