Golang 处理大文件 HTTP 上传

Golang 处理大文件 HTTP 上传

本文介绍了如何使用 golang 的 net/http 包构建 Web 服务器,并有效处理大文件上传。重点在于理解 Expect: 100 continue 机制,以及如何利用 request.ParseMultipartForm 函数将文件数据高效地存储在内存或磁盘上。同时,提供了前端 javaScript 代码示例,演示了如何通过 FormData 对象将文件上传到服务器。

在构建 Web 服务器时,处理大文件上传是一个常见的需求。golang 的 net/http 包提供了强大的功能来支持这一需求。本文将深入探讨如何使用 net/http 包处理大文件上传,并处理客户端发送的 Expect: 100 Continue 请求。

理解 Expect: 100 Continue

当客户端发送 Expect: 100 Continue 请求头时,它实际上是在询问服务器是否愿意接受整个请求。如果服务器准备好接收数据,则返回 HTTP/1.1 100 Continue 响应。如果服务器无法处理请求(例如,由于资源不足或请求格式错误),则返回错误代码,如 417 Expectation Failed。

立即学习go语言免费学习笔记(深入)”;

使用 request.ParseMultipartForm 处理文件上传

request.ParseMultipartForm 是处理 multipart/form-data 请求的关键函数。它可以解析整个请求体,并将文件部分存储在内存或磁盘上。

import (     "fmt"     "io/ioutil"     "net/http" )  func handler(w http.ResponseWriter, r *http.Request) {     // 10MB in memory, the rest in disk     err := r.ParseMultipartForm(10 * 1024 * 1024)     if err != nil {         http.Error(w, err.Error(), http.StatusInternalServerError)         return     }      formdata := r.MultipartForm      for key, headers := range formdata.File {         // 确保 headers 不为空         if len(headers) == 0 {             fmt.Printf("No file found for key: %sn", key)             continue         }          file, err := headers[0].Open()         if err != nil {             http.Error(w, err.Error(), http.StatusInternalServerError)             return         }         defer file.Close()          fileData, err := ioutil.ReadAll(file)         if err != nil {             http.Error(w, err.Error(), http.StatusInternalServerError)             return         }          fileName := headers[0].Filename         fmt.Printf("Uploaded file: %s, size: %d bytesn", fileName, len(fileData))          // 在这里处理文件数据,例如保存到磁盘或数据库         // ...          // 示例:将文件内容打印到控制台         //fmt.Println(String(fileData))     }      fmt.Fprintln(w, "File uploaded successfully!") }  func main() {     http.HandleFunc("/upload", handler)     fmt.Println("Server listening on port 8080")     http.ListenAndServe(":8080", nil) }

代码解释:

Golang 处理大文件 HTTP 上传

文心大模型

百度飞桨-文心大模型 ERNIE 3.0 文本理解与创作

Golang 处理大文件 HTTP 上传56

查看详情 Golang 处理大文件 HTTP 上传

  1. r.ParseMultipartForm(10 * 1024 * 1024): 这行代码解析 multipart/form-data 请求。参数 10 * 1024 * 1024 指定了最大内存使用量(10MB)。超过此大小的文件部分将存储在磁盘上的临时文件中。
  2. formdata := r.MultipartForm: 获取解析后的表单数据。formdata.File 是一个 map[string][]*multipart.FileHeader 类型的映射,其中键是表单字段的名称,值是与该字段关联的文件头切片
  3. 循环遍历 formdata.File: 遍历上传的文件。
  4. headers[0].Open(): 打开文件。headers[0] 是与特定表单字段关联的第一个文件。
  5. ioutil.ReadAll(file): 读取文件的全部内容。
  6. fileName := headers[0].Filename: 获取上传文件的文件名。
  7. 文件处理: 在注释 // 在这里处理文件数据… 的位置,你可以根据需要处理文件数据,例如将其保存到磁盘、数据库或云存储

前端 javascript 代码示例

以下是一个使用 JavaScript FormData 对象将文件上传到服务器的示例:

function handleFile(url, file) {   let data = new FormData();   data.append("file", file); // "file" 是后端接收文件的 key    fetch(url, {     method: "POST", // 通常使用 POST 上传文件     body: data,   })   .then(response => {     if (!response.ok) {       throw new Error(`HTTP error! status: ${response.status}`);     }     return response.text(); // 或者 response.json(),如果服务器返回 json   })   .then(result => {     console.log("Upload successful:", result);   })   .catch(error => {     console.error("Upload failed:", error);   }); }  // 获取文件输入元素 const fileInput = document.getElementById("fileInput");  // 添加事件监听器,当选择文件时触发 fileInput.addEventListener("change", function() {   const file = this.files[0];   if (file) {     const uploadUrl = "/upload"; // 替换为你的上传 URL     handleFile(uploadUrl, file);   } });

注意事项:

  • 错误处理: 在实际应用中,需要添加更完善的错误处理机制,例如检查文件大小、类型等。
  • 安全性: 确保对上传的文件进行安全检查,以防止恶意文件上传。
  • 资源限制: 根据服务器的硬件资源,合理设置 ParseMultipartForm 的内存限制。
  • 存储: 选择合适的存储方式,例如本地磁盘、云存储等。
  • Content-Type: 前端必须正确设置 Content-Type 为 multipart/form-data。 fetch API 会自动处理,但如果是手动构建请求,需要注意。

总结

通过使用 net/http 包和 request.ParseMultipartForm 函数,可以轻松地处理 Golang 中的大文件上传。 理解 Expect: 100 Continue 机制并正确处理客户端请求,可以提高服务器的性能和用户体验。 记住,安全性、错误处理和资源限制是构建健壮的文件上传解决方案的关键因素。 最后,选择合适的存储方式,确保文件能够安全可靠地存储。

上一篇
下一篇
text=ZqhQzanResources