> 백엔드 개발 > Golang > 메모리와 디스크 사용량을 최소화하면서 대용량 파일을 AWS S3로 스트리밍하는 방법은 무엇입니까?

메모리와 디스크 사용량을 최소화하면서 대용량 파일을 AWS S3로 스트리밍하는 방법은 무엇입니까?

DDD
풀어 주다: 2024-11-07 17:06:02
원래의
807명이 탐색했습니다.

How to Stream Large Files to AWS S3 with Minimal Memory and Disk Usage?

최소 메모리 및 파일 디스크 공간으로 AWS S3에 스트리밍 파일 업로드

문제: 메모리 및 파일 디스크 사용량을 최소화하면서 대규모 멀티파트/양식 데이터 파일을 AWS S3에 직접 업로드합니다.

해결책: 다음 단계에 따라 AWS S3 업로더를 활용하십시오.

  1. 필요에 따라 부분 크기, 동시성, 최대 업로드 부분을 포함한 맞춤형 구성으로 업로더를 만듭니다.
  2. 업로드할 파일을 열고 이를 업로더의 입력으로 전달합니다.
  3. 업로더를 사용하여 파일 업로드 프로세스를 시작합니다.
  4. 업로드 결과를 처리하고 진행 상황을 모니터링합니다.

예제 코드:

import (
    "fmt"
    "os"

    "github.com/aws/aws-sdk-go/aws"
    "github.com/aws/aws-sdk-go/aws/credentials"
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3/s3manager"
)

// Configure Amazon S3 credentials and connection
var accessKey = ""
var accessSecret = ""

func main() {
    // Determine if your AWS credentials are configured globally
    var awsConfig *aws.Config
    if accessKey == "" || accessSecret == "" {
        // No credentials provided, load the default credentials
        awsConfig = &aws.Config{
            Region: aws.String("us-west-2"),
        }
    } else {
        // Static credentials provided
        awsConfig = &aws.Config{
            Region:      aws.String("us-west-2"),
            Credentials: credentials.NewStaticCredentials(accessKey, accessSecret, ""),
        }
    }

    // Create an AWS session with the configured credentials
    sess := session.Must(session.NewSession(awsConfig))

    // Create an uploader with customized configuration
    uploader := s3manager.NewUploader(sess, func(u *s3manager.Uploader) {
        u.PartSize = 5 * 1024 * 1024 // Set the part size to 5MB
        u.Concurrency = 2           // Set the concurrency to 2
    })

    // Open the file to be uploaded
    f, err := os.Open("file_name.zip")
    if err != nil {
        fmt.Printf("Failed to open file: %v", err)
        return
    }
    defer f.Close()

    // Upload the file to S3
    result, err := uploader.Upload(&s3manager.UploadInput{
        Bucket: aws.String("myBucket"),
        Key:    aws.String("file_name.zip"),
        Body:   f,
    })
    if err != nil {
        fmt.Printf("Failed to upload file: %v", err)
        return
    }
    fmt.Printf("File uploaded to: %s", result.Location)
}
로그인 후 복사

S3 업로더를 활용하고 파일을 스트리밍하면 업로드 프로세스 중 메모리와 파일 디스크 사용량을 최소화하여 대용량 파일을 효율적으로 처리할 수 있습니다.

위 내용은 메모리와 디스크 사용량을 최소화하면서 대용량 파일을 AWS S3로 스트리밍하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

원천:php.cn
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
인기 튜토리얼
더>
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿