Heim > Backend-Entwicklung > Golang > Wie streame ich große Dateien mit Go nach AWS S3?

Wie streame ich große Dateien mit Go nach AWS S3?

Susan Sarandon
Freigeben: 2024-11-08 04:54:02
Original
1086 Leute haben es durchsucht

How to Stream Large Files to AWS S3 with Go?

Streamen Sie den Datei-Upload in AWS S3 mit Go

Herausforderung:

Streamen Sie einen großen Multipart /form-data-Datei direkt in AWS S3, wodurch der Speicher- und Festplattenbedarf minimiert wird.

Lösung:

Um dies zu erreichen, verwenden wir den S3 Uploader von Github .com/aws/aws-sdk-go-Bibliothek.

Implementierung:

  1. Erstellen Sie einen neuen S3-Uploader, der mit den gewünschten Parametern konfiguriert ist (Chunk-Größe, Parallelität, usw.).
  2. Öffnen Sie die hochzuladende Datei.
  3. Verwenden Sie die Upload-Funktion des Uploaders, um die Datei auf S3 zu streamen.
  4. Behandeln Sie Fehler oder zeigen Sie Upload-Ergebnisse an.

Beispielcode:

import (
    "github.com/aws/aws-sdk-go/aws/session"
    "github.com/aws/aws-sdk-go/service/s3/s3manager"
)

func main() {
    // Create an S3 uploader with custom options
    uploader := s3manager.NewUploader(session.Must(session.NewSession()), func(u *s3manager.Uploader) {
        u.PartSize = 5 * 1024 * 1024 // 5MB part size
        u.Concurrency = 2           // 2 concurrent uploads
    })

    // Open the file for upload
    f, err := os.Open("file.txt")
    if err != nil {
        panic(err)
    }
    defer f.Close()

    // Stream file to S3
    result, err := uploader.Upload(&s3manager.UploadInput{
        Bucket: aws.String("my-bucket"),
        Key:    aws.String("file.txt"),
        Body:   f,
    })

    if err != nil {
        panic(err)
    }

    // Display uploaded file information
    fmt.Printf("File uploaded to: %s", result.Location)
}
Nach dem Login kopieren

Das obige ist der detaillierte Inhalt vonWie streame ich große Dateien mit Go nach AWS S3?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Neueste Artikel des Autors
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage