首页 > 后端开发 > Python教程 > 如何有效上传大文件(≥3GB)到FastAPI后端?

如何有效上传大文件(≥3GB)到FastAPI后端?

Susan Sarandon
发布: 2024-12-04 15:22:11
原创
523 人浏览过

How to Effectively Upload Large Files (≥3GB) to a FastAPI Backend?

如何上传大文件(≥3GB)到FastAPI后端?

FastAPI可以通过检索文件的部分内容来处理超过1MB的文件一次从请求主体。这种方法不需要将整个文件加载到内存中,在处理大文件时建议这样做。

客户端请求:

m = MultipartEncoder(fields = {"upload_file":open(file_name,'rb')})
prefix = "http://xxx:5000"
url = "{}/v1/uploadfiles".format(prefix)
try:
    req = requests.post(
    url,
    data=m,
    verify=False,
            )
登录后复制

服务器端响应:

HTTP 422 {"detail":[{"loc":["body","upload_file"],"msg":"field required","type":"value_error.missing"}]}
登录后复制

原因对于错误:

发生错误是因为客户端请求省略了 Content-Type 标头。 FastAPI 希望客户端在上传文件时发送多部分/表单数据请求。如果没有 Content-Type 标头,FastAPI 无法正确解析请求正文。

解决方案 1(推荐):使用流式文件上传和块编码请求

HTTPX 库默认支持流式文件上传,允许您发送文件而无需将它们完全加载到

示例:

import httpx
import time

url = 'http://127.0.0.1:8000/upload'
files = {'file': open('bigFile.zip', 'rb')}
headers = {'Filename': 'bigFile.zip'}
data = {'data': 'Hello World!'}

with httpx.Client() as client:
    start = time.time()
    r = client.post(url, data=data, files=files, headers=headers)
    end = time.time()
    print(f'Time elapsed: {end - start}s')
    print(r.status_code, r.json(), sep=' ')
登录后复制

解决方案2:使用streaming_form_data库

该库提供流式multipart/form -Python 的数据解析器,允许您解析多部分/表单数据请求,而无需完全加载整个请求身体进入记忆。

示例:

from streaming_form_data import StreamingFormDataParser
from streaming_form_data.targets import FileTarget, ValueTarget

app = FastAPI()
MAX_REQUEST_BODY_SIZE = 1024 * 1024 * 1024 * 4  # = 4GB
MAX_FILE_SIZE = 1024 * 1024 * 1024 * 3  # = 3GB

@app.post('/upload')
async def upload(request: Request):
    
    parser = StreamingFormDataParser(headers=request.headers)
    filename = request.headers.get('Filename')
    file_ = FileTarget('./' + filename)
    data = ValueTarget()
    parser.register('file', file_)
    parser.register('data', data)
    body_validator = MaxBodySizeValidator(MAX_REQUEST_BODY_SIZE)
    file_validator = MaxSizeValidator(MAX_FILE_SIZE)
    
    async for chunk in request.stream():
        body_validator(chunk)
        parser.data_received(chunk)
登录后复制

以上是如何有效上传大文件(≥3GB)到FastAPI后端?的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
作者最新文章
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板