비동기 코루틴 개발 실습: 대용량 파일 업로드 및 다운로드 속도 최적화-PHP 튜토리얼-php.cn

비동기 코루틴 개발 실습: 대용량 파일 업로드 및 다운로드 속도 최적화

인터넷이 발전하고 대중화되면서 파일 전송이 표준이 되었습니다. 그러나 전송된 파일이 점점 더 커지면 기존의 파일 업로드 및 다운로드 방법은 많은 어려움에 직면하게 됩니다. 대용량 파일의 전송 속도를 최적화하고 사용자 경험을 향상시키기 위해 비동기 코루틴을 통해 구현할 수 있습니다. 이 문서에서는 비동기 코루틴 기술을 사용하여 대용량 파일의 업로드 및 다운로드 속도를 최적화하는 방법을 공유하고 구체적인 코드 예제를 제공합니다.

1. 비동기 코루틴 기술 소개

비동기 코루틴은 본질적으로 프로그래밍 모델입니다. 그 특징은 차단이 발생하면 즉시 현재 스레드의 제어를 해제하고 다른 작업에 제어를 넘겨 실행을 계속하며 차단이 끝날 때까지 기다렸다가 실행으로 돌아갈 수 있다는 것입니다. 더 나은 결과. 효율적인 처리 효과.

일반적인 비동기 코루틴 기술에는 Python의 asyncio, Node.js의 콜백 및 Promise 등이 포함됩니다. 언어와 기술에 따라 구현 방법이 다를 수 있지만 기본적으로 모두 컴퓨터 리소스를 더 잘 활용하여 동시성과 처리 효율성을 향상시키도록 설계되었습니다.

2. 대용량 파일 업로드 속도 최적화

청크 업로드 사용 시

대용량 파일을 업로드할 때 전체 파일을 한 번에 서버로 전송하면 필연적으로 네트워크 정체가 발생하고 전송 속도가 느려집니다. 이 문제를 방지하려면 대용량 파일을 여러 청크로 업로드할 수 있습니다. 각 청크는 독립적인 데이터 패킷이며 업로드 속도를 높이기 위해 병렬로 업로드할 수 있습니다.

비동기 코루틴 기술을 사용하면 청크 업로드를 쉽게 구현하고 여러 데이터 청크를 병렬로 전송하여 보다 효율적인 업로드 작업을 달성할 수 있습니다. 다음은 구체적인 코드 구현입니다.

import aiohttp import asyncio async def upload_chunk(session, url, file, offset, size): headers = {'Content-Length': str(size), 'Content-Range': f'bytes {offset}-{offset+size-1}/{file_size}'} data = file.read(size) async with session.put(url, headers=headers, data=data) as resp: return await resp.json() async def upload_file_with_chunks(session, url, file): file_size = os.path.getsize(file.name) chunk_size = 1024 * 1024 * 5 #每块数据的大小为5MB offset = 0 tasks = [] while offset < file_size: size = chunk_size if offset+chunk_size < file_size else file_size-offset tasks.append(upload_chunk(session, url, file, offset, size)) offset += size return await asyncio.gather(*tasks) async def main(): async with aiohttp.ClientSession() as session: url = 'http://example.com/upload' file = open('large_file.mp4', 'rb') result = await upload_file_with_chunks(session, url, file) print(result) asyncio.run(main())

로그인 후 복사

이 코드에서는 전체 파일을 5MB 크기의 데이터 블록으로 나눈 후asyncio.gather()메서드를 사용하여 각 데이터 블록을 업로드하는 작업을 동시에 실행하여 속도를 높였습니다. 업로드 속도를 높이세요. 청크 업로드 아이디어는 파일 다운로드에도 적용됩니다. 자세한 내용은 다음 섹션을 참조하세요.asyncio.gather()方法将上传各个数据块的任务并发执行，以加快上传速度。分块上传的思路也同样适用于文件下载，具体请看下一节内容。

多线程上传

除了使用分块上传，还可以使用多线程的方式来实现大文件的上传操作。使用多线程可以更充分地利用计算机的多核资源，从而加速文件上传的速度。下面是具体的代码实现。

import threading import requests class MultiPartUpload(object): def __init__(self, url, file_path, num_thread=4): self.url = url self.file_path = file_path self.num_thread = num_thread self.file_size = os.path.getsize(self.file_path) self.chunk_size = self.file_size//num_thread self.threads = [] self.lock = threading.Lock() def upload(self, i): start = i * self.chunk_size end = start + self.chunk_size - 1 headers = {"Content-Range": "bytes %s-%s/%s" % (start, end, self.file_size), "Content-Length": str(self.chunk_size)} data = open(self.file_path, 'rb') data.seek(start) resp = requests.put(self.url, headers=headers, data=data.read(self.chunk_size)) self.lock.acquire() print("Part %d status: %s" % (i, resp.status_code)) self.lock.release() def run(self): for i in range(self.num_thread): t = threading.Thread(target=self.upload, args=(i,)) self.threads.append(t) for t in self.threads: t.start() for t in self.threads: t.join() if __name__ == '__main__': url = 'http://example.com/upload' file = 'large_file.mp4' uploader = MultiPartUpload(url, file) uploader.run()

로그인 후 복사

在这段代码中，我们使用了Python标准库中的threading模块来实现多线程上传。将整个文件分成多个数据块，每个线程负责上传其中的一块，从而实现并发上传。使用锁机制来保护并发上传过程中的线程安全。

三、优化大文件下载的速度

除了上传，下载大文件同样是一个很常见的需求，同样可以通过异步协程来实现优化。

分块下载

和分块上传类似，分块下载将整个文件划分成若干块，每一块独立下载，并行传输多个块数据，从而加快下载速度。具体的代码实现如下：

import aiohttp import asyncio import os async def download_chunk(session, url, file, offset, size): headers = {'Range': f'bytes={offset}-{offset+size-1}'} async with session.get(url, headers=headers) as resp: data = await resp.read() file.seek(offset) file.write(data) return len(data) async def download_file_with_chunks(session, url, file): async with session.head(url) as resp: file_size = int(resp.headers.get('Content-Length')) chunk_size = 1024 * 1024 * 5 #每块数据的大小为5MB offset = 0 tasks = [] while offset < file_size: size = chunk_size if offset+chunk_size < file_size else file_size-offset tasks.append(download_chunk(session, url, file, offset, size)) offset += size return await asyncio.gather(*tasks) async def main(): async with aiohttp.ClientSession() as session: url = 'http://example.com/download/large_file.mp4' file = open('large_file.mp4', 'wb+') await download_file_with_chunks(session, url, file) asyncio.run(main())

로그인 후 복사

在这段代码中，我们使用了aiohttp库来进行异步协程的并行下载。同样地，将整个文件分成大小为5MB的数据块，然后使用asyncio.gather()方法将下载各个数据块的任务并发执行，加快文件下载速度。

多线程下载

除了分块下载，还可以使用多线程下载的方式来实现大文件的下载操作。具体的代码实现如下：

import threading import requests class MultiPartDownload(object): def __init__(self, url, file_path, num_thread=4): self.url = url self.file_path = file_path self.num_thread = num_thread self.file_size = requests.get(self.url, stream=True).headers.get('Content-Length') self.chunk_size = int(self.file_size) // self.num_thread self.threads = [] self.lock = threading.Lock() def download(self, i): start = i * self.chunk_size end = start + self.chunk_size - 1 if i != self.num_thread - 1 else '' headers = {"Range": "bytes=%s-%s" % (start, end)} data = requests.get(self.url, headers=headers, stream=True) with open(self.file_path, 'rb+') as f: f.seek(start) f.write(data.content) self.lock.acquire() print("Part %d Downloaded." % i) self.lock.release() def run(self): for i in range(self.num_thread): t = threading.Thread(target=self.download, args=(i,)) self.threads.append(t) for t in self.threads: t.start() for t in self.threads: t.join() if __name__ == '__main__': url = 'http://example.com/download/large_file.mp4' file = 'large_file.mp4' downloader = MultiPartDownload(url, file) downloader.run()

로그인 후 복사

在这段代码中，我们同样使用了Python标准库中的threading

청크 업로드를 사용하는 것 외에도 멀티 스레딩을 사용하여 대용량 파일을 업로드할 수도 있습니다. 멀티스레딩을 사용하면 컴퓨터의 멀티코어 리소스를 최대한 활용하여 파일 업로드 속도를 높일 수 있습니다. 다음은 구체적인 코드 구현입니다.

threading

aiohttp

asyncio.gather()

threading

위 내용은 비동기 코루틴 개발 실습: 대용량 파일 업로드 및 다운로드 속도 최적화의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!