ホームページ > バックエンド開発 > Golang > メモリとディスクの使用量を最小限に抑えて、大きなファイルを AWS S3 にストリーミングするにはどうすればよいですか?

メモリとディスクの使用量を最小限に抑えて、大きなファイルを AWS S3 にストリーミングするにはどうすればよいですか?

DDD
リリース: 2024-11-07 17:06:02
オリジナル
807 人が閲覧しました

How to Stream Large Files to AWS S3 with Minimal Memory and Disk Usage?

最小限のメモリとファイルディスクのフットプリントで AWS S3 にファイルをストリーミングアップロード

問題:メモリとファイルディスクの使用量を最小限に抑えながら、大きなマルチパート/フォームデータファイルを AWS S3 に直接送信します。

解決策: 次の手順で AWS S3 アップローダーを利用します:

  1. 必要に応じて、パーツ サイズ、同時実行数、アップロード パーツの最大数などをカスタマイズした構成でアップローダーを作成します。
  2. アップロードするファイルを開いて、それを入力としてアップローダーに渡します。
  3. アップローダーを使用してファイルのアップロード プロセスを開始します。
  4. アップロード結果を処理し、その進行状況を監視します。

コード例:

import (
    "fmt"
    "os"

    "github.com/aws/aws-sdk-go/aws"
    "github.com/aws/aws-sdk-go/aws/credentials"
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3/s3manager"
)

// Configure Amazon S3 credentials and connection
var accessKey = ""
var accessSecret = ""

func main() {
    // Determine if your AWS credentials are configured globally
    var awsConfig *aws.Config
    if accessKey == "" || accessSecret == "" {
        // No credentials provided, load the default credentials
        awsConfig = &aws.Config{
            Region: aws.String("us-west-2"),
        }
    } else {
        // Static credentials provided
        awsConfig = &aws.Config{
            Region:      aws.String("us-west-2"),
            Credentials: credentials.NewStaticCredentials(accessKey, accessSecret, ""),
        }
    }

    // Create an AWS session with the configured credentials
    sess := session.Must(session.NewSession(awsConfig))

    // Create an uploader with customized configuration
    uploader := s3manager.NewUploader(sess, func(u *s3manager.Uploader) {
        u.PartSize = 5 * 1024 * 1024 // Set the part size to 5MB
        u.Concurrency = 2           // Set the concurrency to 2
    })

    // Open the file to be uploaded
    f, err := os.Open("file_name.zip")
    if err != nil {
        fmt.Printf("Failed to open file: %v", err)
        return
    }
    defer f.Close()

    // Upload the file to S3
    result, err := uploader.Upload(&s3manager.UploadInput{
        Bucket: aws.String("myBucket"),
        Key:    aws.String("file_name.zip"),
        Body:   f,
    })
    if err != nil {
        fmt.Printf("Failed to upload file: %v", err)
        return
    }
    fmt.Printf("File uploaded to: %s", result.Location)
}
ログイン後にコピー

S3 アップローダーを利用してファイルをストリーミングすることで、アップロード プロセス中のメモリとファイル ディスクの使用量を最小限に抑え、大きなファイルを効率的に処理できます。

以上がメモリとディスクの使用量を最小限に抑えて、大きなファイルを AWS S3 にストリーミングするにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ソース:php.cn
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート