Das direkte Hochladen großer Dateien auf AWS S3 bei gleichzeitiger Minimierung des Speicher- und Festplattenbedarfs ist eine wesentliche Aufgabe im Cloud Computing. Dieser Leitfaden zeigt, wie Sie dies mit dem AWS SDK for Go erreichen.
Um einen Datei-Upload direkt auf S3 zu streamen, können Sie das s3manager-Paket verwenden. Hier ist eine Schritt-für-Schritt-Lösung:
AWS-Anmeldeinformationen und -Sitzung konfigurieren:
Erstellen Sie einen S3-Uploader:
Öffnen Sie die Datei:
Laden Sie die Datei hoch:
Das folgende Codebeispiel zeigt, wie Sie das Hochladen großer Dateien nach AWS S3 mit s3manager streamen:
package main import ( "fmt" "os" "github.com/aws/aws-sdk-go/aws/credentials" "github.com/aws/aws-sdk-go/aws" "github.com/aws/aws-sdk-go/aws/session" "github.com/aws/aws-sdk-go/service/s3/s3manager" ) const ( filename = "file_name.zip" myBucket = "myBucket" myKey = "file_name.zip" accessKey = "" accessSecret = "" ) func main() { var awsConfig *aws.Config if accessKey == "" || accessSecret == "" { //load default credentials awsConfig = &aws.Config{ Region: aws.String("us-west-2"), } } else { awsConfig = &aws.Config{ Region: aws.String("us-west-2"), Credentials: credentials.NewStaticCredentials(accessKey, accessSecret, ""), } } // The session the S3 Uploader will use sess := session.Must(session.NewSession(awsConfig)) // Create an uploader with the session and default options //uploader := s3manager.NewUploader(sess) // Create an uploader with the session and custom options uploader := s3manager.NewUploader(sess, func(u *s3manager.Uploader) { u.PartSize = 5 * 1024 * 1024 // The minimum/default allowed part size is 5MB u.Concurrency = 2 // default is 5 }) //open the file f, err := os.Open(filename) if err != nil { fmt.Printf("failed to open file %q, %v", filename, err) return } //defer f.Close() // Upload the file to S3. result, err := uploader.Upload(&s3manager.UploadInput{ Bucket: aws.String(myBucket), Key: aws.String(myKey), Body: f, }) //in case it fails to upload if err != nil { fmt.Printf("failed to upload file, %v", err) return } fmt.Printf("file uploaded to, %s\n", result.Location) }
Indem Sie diese Schritte befolgen, können Sie dies tun Laden Sie große Multipart-/Formulardatendateien effizient und mit minimaler Speichernutzung direkt in AWS S3 hoch.
Das obige ist der detaillierte Inhalt vonWie streame ich Datei-Uploads zu AWS S3 mit Go?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!