在上一篇文章中，我们使用 Go 和本地存储以及用于基于云的存储的 Amazon S3 构建了文件上传服务。但是，如果您需要处理大文件（例如数千兆字节的视频文件或数据集）怎么办？ ？这就是事情变得棘手的地方。您不希望您的服务器陷入困境或内存不足。
在这篇文章中，我们将探索如何通过 AWS S3 使用流和分块来高效处理大文件上传。这样，即使是最大的文件也不会让您的应用程序瘫痪。
以下是我们将介绍的内容：
准备好将这些大文件飞入云端了吗？让我们深入了解一下！ ?️
在处理大文件上传时，您最不想看到的就是将整个文件加载到内存中。对于较小的文件，这没什么大不了的，但对于较大的文件，您很快就会达到服务器内存的限制，特别是在处理多个同时上传时。
流和分块是让您高效处理这些大文件的关键技术。
我们将使用 AWS SDK 将文件从用户的上传请求直接流式传输到 S3，从而最大限度地减少服务器上所需的内存量。
我们可以使用 streams 实时发送文件，而不是在将整个文件上传到 S3 之前将其存储在内存或磁盘中。让我们修改现有的 fileUploadHandler 以更有效地处理大文件。
import (
"fmt"
"io"
"net/http"
"github.com/aws/aws-sdk-go/aws"
"github.com/aws/aws-sdk-go/aws/session"
"github.com/aws/aws-sdk-go/service/s3"
)
func fileUploadHandler(w http.ResponseWriter, r *http.Request) {
// Limit the request size (e.g., 10GB max size)
r.Body = http.MaxBytesReader(w, r.Body, 10<<30)
// Parse the multipart form data
err := r.ParseMultipartForm(10 << 20)
if err != nil {
http.Error(w, "File too large", http.StatusRequestEntityTooLarge)
return
}
// Retrieve the file from the form
file, handler, err := r.FormFile("file")
if err != nil {
http.Error(w, "Error retrieving file", http.StatusBadRequest)
return
}
defer file.Close()
// Set up AWS session
sess, err := session.NewSession(&aws.Config{
Region: aws.String("us-west-1"),
})
if err != nil {
http.Error(w, "Error connecting to AWS", http.StatusInternalServerError)
return
}
// Create the S3 client
s3Client := s3.New(sess)
// Stream the file directly to S3
_, err = s3Client.PutObject(&s3.PutObjectInput{
Bucket: aws.String("your-bucket-name"),
Key: aws.String(handler.Filename),
Body: file, // Stream the file directly from the request
ACL: aws.String("public-read"),
})
if err != nil {
http.Error(w, "Error uploading file to S3", http.StatusInternalServerError)
return
}
fmt.Fprintf(w, "File uploaded successfully to S3!")
}
在这种方法中，文件直接从请求流式传输到 S3，因此您不会将整个文件存储在内存中，这对于大文件来说是救星！
如果您想更进一步，您可以在客户端将文件分成块，然后以较小的片段上传。这对于处理不稳定的连接或大量文件特别有用，因为从头开始重新上传会很痛苦。
在客户端，将文件分成更小的块并单独上传每个块。这是使用 JavaScript 的示例：
import (
"fmt"
"io"
"net/http"
"github.com/aws/aws-sdk-go/aws"
"github.com/aws/aws-sdk-go/aws/session"
"github.com/aws/aws-sdk-go/service/s3"
)
func fileUploadHandler(w http.ResponseWriter, r *http.Request) {
// Limit the request size (e.g., 10GB max size)
r.Body = http.MaxBytesReader(w, r.Body, 10<<30)
// Parse the multipart form data
err := r.ParseMultipartForm(10 << 20)
if err != nil {
http.Error(w, "File too large", http.StatusRequestEntityTooLarge)
return
}
// Retrieve the file from the form
file, handler, err := r.FormFile("file")
if err != nil {
http.Error(w, "Error retrieving file", http.StatusBadRequest)
return
}
defer file.Close()
// Set up AWS session
sess, err := session.NewSession(&aws.Config{
Region: aws.String("us-west-1"),
})
if err != nil {
http.Error(w, "Error connecting to AWS", http.StatusInternalServerError)
return
}
// Create the S3 client
s3Client := s3.New(sess)
// Stream the file directly to S3
_, err = s3Client.PutObject(&s3.PutObjectInput{
Bucket: aws.String("your-bucket-name"),
Key: aws.String(handler.Filename),
Body: file, // Stream the file directly from the request
ACL: aws.String("public-read"),
})
if err != nil {
http.Error(w, "Error uploading file to S3", http.StatusInternalServerError)
return
}
fmt.Fprintf(w, "File uploaded successfully to S3!")
}
在服务器端，您可以接收这些块并将它们附加到存储在S3上的文件：
async function uploadFileInChunks(file) {
const chunkSize = 5 * 1024 * 1024; // 5MB per chunk
const totalChunks = Math.ceil(file.size / chunkSize);
for (let i = 0; i < totalChunks; i++) {
const start = i * chunkSize;
const end = Math.min(file.size, start + chunkSize);
const chunk = file.slice(start, end);
const formData = new FormData();
formData.append("chunk", chunk);
formData.append("chunkIndex", i);
formData.append("filename", file.name);
await fetch("/upload-chunk", {
method: "POST",
body: formData,
});
}
}
此方法允许您独立上传文件块并将它们合并到云端。它非常适合处理可靠性至关重要的大型上传。
限制请求大小：始终设置合理的最大请求大小（MaxBytesReader），以防止用户压垮您的服务器。
S3 分段上传：AWS S3 支持分段上传，这非常适合大文件。您可以并行上传部分，甚至可以恢复失败的上传。
安全文件上传：确保验证文件类型并使用安全连接 (HTTPS) 进行文件上传。清理文件名以防止目录遍历攻击。
进度指示器：如果您要对文件进行分块，请实现进度指示器以获得更好的用户体验，尤其是对于大文件。
处理大文件上传并不一定令人头痛。通过将流和分块技术与 Go 和 S3 结合使用，您甚至可以有效地管理最大的文件，而不会占用服务器的内存。无论您是构建文件存储服务、视频平台还是媒体密集型应用程序，您现在都可以像专业人士一样处理大量上传。 ？
您在项目中实现过大文件上传吗？在评论中留下您的经验或技巧，让我们继续对话！ ？
以上是像专业人士一样使用 AWS SStream 在 Go 中处理大文件上传的详细内容。更多信息请关注PHP中文网其他相关文章！
