メモリ内でのダウンロードは、AWS s3 からのファイルシステムでのダウンロードよりも遅いのはなぜですか?-Golang-php.cn

メモリ内でのダウンロードは、AWS s3 からのファイルシステムでのダウンロードよりも遅いのはなぜですか?

王林

リリース： 2024-02-09 11:57:29

転載

629 人が閲覧しました

为什么在内存中下载比从 aws s3 在文件系统中下载慢？

メモリ内でのダウンロードは、AWS S3 からファイルシステムでのダウンロードよりも遅いのはなぜですか? ファイルをダウンロードするときは、通常、AWS S3 バケットからローカルファイルシステムにダウンロードすることを選択します。ただし、メモリ内ダウンロード方法を使用すると、S3 からファイルシステムに直接ダウンロードするよりも時間がかかる場合があります。これは、メモリ内でのダウンロードには追加の手順とリソースの消費が必要となるためです。まず、メモリ内ダウンロードでは、ファイルの内容をメモリに読み取り、ファイルシステムに書き込む必要があります。このプロセスには追加のメモリ操作と IO 操作が含まれるため、S3 からファイルシステムに直接ダウンロードする場合よりもダウンロード速度が遅くなります。さらに、インメモリダウンロードもメモリ制限の影響を受ける可能性があり、ダウンロードされるファイルが大きい場合、メモリ不足の問題が発生し、ダウンロード速度に影響を与える可能性があります。したがって、ダウンロード方法を選択するときは、特定の状況に応じて長所と短所を比較検討し、最適なダウンロード方法を選択する必要があります。

質問内容

あるバケットからのダウンロードにaws gosdkを使用しています。以下はダウンロード用の 2 つの実装です。

100 MB のファイルの場合、メモリへのダウンロードには 30 秒かかり、ファイルシステムへのダウンロードにはわずか 8 秒かかります。私の期待は、メモリのダウンロードがはるかに高速になることです。私のシステム (apple m1、ventura、8gb ram) には十分な ram があるため、これは問題ではありません。誰かこの動作を理解するのを手伝ってくれませんか?

解決策

大きな S3 オブジェクトを動的バッファにダウンロードするのは非常に非効率です。 100M のデータと複数のダウンロードスレッドを処理するために、バッファは複数回再割り当てされました。メモリの再割り当てには大量の CPU 時間が必要です。

null バイトのスライスを使用する代わりに、最初に 100M を割り当ててみてください。

オブジェクトのサイズが不明な場合は、

S3.HeadObject を使用してオブジェクトの長さをリアルタイムで取得できます。

以上がメモリ内でのダウンロードは、AWS s3 からのファイルシステムでのダウンロードよりも遅いのはなぜですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。