文件分块读取与写入：使用os.Open和固定大小（如5MB）分块，通过io.ReadAtLeast或bufio.Reader逐段读取，降低内存占用并提升传输效率。
在实际开发中，大文件传输常会遇到内存占用高、网络不稳定导致传输失败等问题。golang 通过其高效的并发机制和 I/O 操作能力，非常适合实现文件的分块传输。本文将详细介绍如何使用 golang 实现文件分块上传与下载，涵盖分块读取、并发上传、断点续传等核心逻辑。
1. 文件分块读取与写入
分块传输的第一步是将大文件切分为多个固定大小的数据块。通常每块设置为 1MB 到 5MB，既能减少单次内存压力，又能保证传输效率。
使用 os.Open 打开文件，并通过 io.ReadAtLeast 或 bufio.Reader 分段读取：
const chunkSize = 5 << 20 // 5MB <p>func readInChunks(filePath string) (<-chan []byte, error) { file, err := os.Open(filePath) if err != nil { return nil, err }</p><pre class='brush:php;toolbar:false;'>ch := make(chan []byte, 10) go func() { defer file.Close() defer close(ch) buffer := make([]byte, chunkSize) for { n, err := file.Read(buffer) if n > 0 { chunk := make([]byte, n) copy(chunk, buffer[:n]) ch <- chunk } if err == io.EOF { break } if err != nil && err != io.EOF { panic(err) } } }() return ch, nil
}
立即学习“go语言免费学习笔记（深入）”；
上述代码返回一个只读 channel，每个元素是一个数据块，便于后续异步处理。
2. 基于 http 的分块上传
使用标准库 net/http 实现分块上传，客户端逐个发送块，服务端按序接收并拼接。
关键点包括：添加分块索引、总块数、文件名等元信息，建议使用 multipart/form-data 格式：
func uploadChunk(chunk []byte, index, total int, filename string, serverURL string) error { var buf bytes.Buffer writer := multipart.NewWriter(&buf) <pre class='brush:php;toolbar:false;'>// 写入元信息 writer.WriteField("index", strconv.Itoa(index)) writer.WriteField("total", strconv.Itoa(total)) writer.WriteField("filename", filename) // 写入文件块 part, _ := writer.CreateFormFile("chunk", "chunk") part.Write(chunk) writer.Close() req, _ := http.NewRequest("POST", serverURL, &buf) req.Header.Set("Content-Type", writer.FormDataContentType()) client := &http.Client{} resp, err := client.Do(req) if resp != nil { defer resp.Body.Close() } return err
}
立即学习“go语言免费学习笔记（深入）”；
调用时结合分块 channel 并发上传（注意控制并发数，避免资源耗尽）：
chunks, _ := readInChunks("largefile.zip") var wg sync.WaitGroup semaphore := make(chan struct{}, 5) // 控制最多 5 个并发 <p>for i := 0; ; i++ { chunk, ok := <-chunks if !ok { break } wg.Add(1) go func(idx int, data []byte) { defer wg.Done() semaphore <- struct{}{} uploadChunk(data, idx, totalChunks, "largefile.zip", "<a href="https://www.php.cn/link/929ba3c615223cf7248590ae175fcce7">https://www.php.cn/link/929ba3c615223cf7248590ae175fcce7</a>") <-semaphore }(i, chunk) } wg.Wait()</p>
3. 服务端接收与合并文件
服务端需解析 multipart 数据，提取块数据并写入临时目录，最后根据总块数判断是否完成合并。
示例处理函数：
var tempDir = "./uploads/tmp/" var fileTracker = make(map[string][]bool) // 记录各文件块接收状态 <p>func handleUpload(w http.ResponseWriter, r *http.Request) { r.ParseMultipartForm(10 << 20) // 最大 10MB 表单</p><pre class='brush:php;toolbar:false;'>indexStr := r.FormValue("index") totalStr := r.FormValue("total") filename := r.FormValue("filename") index, _ := strconv.Atoi(indexStr) total, _ := strconv.Atoi(totalStr) file, _, _ := r.FormFile("chunk") defer file.Close() // 创建临时文件路径 tempPath := filepath.Join(tempDir, filename+"."+indexStr) dst, _ := os.Create(tempPath) io.Copy(dst, file) dst.Close() // 更新接收状态 key := filename + ".parts" if _, exists := fileTracker[key]; !exists { fileTracker[key] = make([]bool, total) } fileTracker[key][index] = true // 检查是否全部接收完毕 complete := true for _, received := range fileTracker[key] { if !received { complete = false break } } if complete { mergeFile(filename, total) delete(fileTracker, key) } w.WriteHeader(http.StatusOK)
}
立即学习“go语言免费学习笔记（深入）”；
合并函数示例：
func mergeFile(filename string, total int) { finalPath := filepath.Join(tempDir, filename) outFile, _ := os.Create(finalPath) defer outFile.Close() <pre class='brush:php;toolbar:false;'>for i := 0; i < total; i++ { chunkPath := filepath.Join(tempDir, filename+"."+strconv.Itoa(i)) chunkData, _ := os.ReadFile(chunkPath) outFile.Write(chunkData) os.Remove(chunkPath) // 合并后删除临时块 }
}
立即学习“go语言免费学习笔记（深入）”；
4. 断点续传与校验机制
为支持断点续传，可在上传前请求服务端获取已上传的块列表。客户端跳过已传部分。
建议增加 MD5 或 SHA256 校验：
- 客户端计算每个块的哈希值随块上传
- 服务端接收后校验一致性
- 最终文件整体校验确保完整性
也可引入唯一文件 ID 和临时会话机制，提升多用户场景下的管理能力。
基本上就这些。Golang 的 channel 和 goroutine 特性让分块传输变得简洁高效。合理设计分块大小、并发控制和错误重试，可构建稳定可靠的文件传输系统。