首頁 > 後端開發 > Python教學 > 如何有效上傳大檔案(≥3GB)到FastAPI後端?

如何有效上傳大檔案(≥3GB)到FastAPI後端?

Susan Sarandon
發布: 2024-12-04 15:22:11
原創
523 人瀏覽過

How to Effectively Upload Large Files (≥3GB) to a FastAPI Backend?

如何上傳大型檔案(≥3GB)到FastAPI後端?

FastAPI可以透過擷取檔案的部分內容來處理超過1MB的檔案一次從請求主體。這種方法不需要將整個檔案載入到記憶體中,在處理大檔案時建議這樣做。

客戶端請求:

m = MultipartEncoder(fields = {"upload_file":open(file_name,'rb')})
prefix = "http://xxx:5000"
url = "{}/v1/uploadfiles".format(prefix)
try:
    req = requests.post(
    url,
    data=m,
    verify=False,
            )
登入後複製

伺服器端回應:

HTTP 422 {"detail":[{"loc":["body","upload_file"],"msg":"field required","type":"value_error.missing"}]}
登入後複製

對於錯誤:

發生錯誤是因為客戶端請求省略了Content-Type 標頭。 FastAPI 希望客戶端在上傳文件時發送多部分/表單資料請求。如果沒有 Content-Type 標頭,FastAPI 無法正確解析請求正文。

解決方案 1(建議):使用串流檔案上傳和區塊編碼請求

HTTPX庫預設支援串流檔案上傳,允許您發送檔案而無需將它們完全載入到

範例:

import httpx
import time

url = 'http://127.0.0.1:8000/upload'
files = {'file': open('bigFile.zip', 'rb')}
headers = {'Filename': 'bigFile.zip'}
data = {'data': 'Hello World!'}

with httpx.Client() as client:
    start = time.time()
    r = client.post(url, data=data, files=files, headers=headers)
    end = time.time()
    print(f'Time elapsed: {end - start}s')
    print(r.status_code, r.json(), sep=' ')
登入後複製

解決方案2:使用streaming_form_data函式庫

此函式庫提供串流multipart/form -Python的資料解析器,可讓您解析多部分/表單資料請求,而無需完全載入整個請求身體進入記憶。

範例:

from streaming_form_data import StreamingFormDataParser
from streaming_form_data.targets import FileTarget, ValueTarget

app = FastAPI()
MAX_REQUEST_BODY_SIZE = 1024 * 1024 * 1024 * 4  # = 4GB
MAX_FILE_SIZE = 1024 * 1024 * 1024 * 3  # = 3GB

@app.post('/upload')
async def upload(request: Request):
    
    parser = StreamingFormDataParser(headers=request.headers)
    filename = request.headers.get('Filename')
    file_ = FileTarget('./' + filename)
    data = ValueTarget()
    parser.register('file', file_)
    parser.register('data', data)
    body_validator = MaxBodySizeValidator(MAX_REQUEST_BODY_SIZE)
    file_validator = MaxSizeValidator(MAX_FILE_SIZE)
    
    async for chunk in request.stream():
        body_validator(chunk)
        parser.data_received(chunk)
登入後複製

以上是如何有效上傳大檔案(≥3GB)到FastAPI後端?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板