使用goroutine和channel实现并发下载，通过任务调度与限流提升效率。1. 并发下载多个文件：定义DownloadTask结构体，用channel传递错误结果，结合WaitGroup等待所有任务完成；2. 大文件分块下载：发送HEAD请求获取文件大小，按字节范围使用Range头分段下载，各段保存为临时文件后合并，需确保服务器返回206状态码；3. 控制并发数：采用带缓存的channel作为信号量（如make(chan Struct{}, 5)），在每个goroutine执行前写入channel，结束后读出，防止资源耗尽；4. 错误处理与资源释放：每个goroutine通过defer关闭响应体和文件句柄，错误通过channel统一收集。该方案兼顾性能与稳定性，适用于多文件或大文件场景。
在golang中实现并发文件下载，核心思路是利用goroutine和channel来同时发起多个http请求，提升下载效率。结合任务调度、错误处理和资源控制，可以构建稳定高效的下载器。以下是几种常见的实现方式和最佳实践。
使用Goroutine + Channel进行基础并发下载
通过启动多个goroutine分别下载文件片段或不同文件，用channel收集结果或控制流程。
示例：并发下载多个独立文件
注意：需限制并发数，避免系统资源耗尽
- 定义一个工作池（worker pool），控制最大并发量
- 使用无缓冲channel传递下载任务
- 用WaitGroup等待所有任务完成
代码结构示意：
立即学习“go语言免费学习笔记（深入）”；
type DownloadTask struct { URL string Path string } <p>func downloadFile(task DownloadTask, ch chan error) { resp, err := http.Get(task.URL) if err != nil { ch <- err return } defer resp.Body.Close()</p><pre class="brush:php;toolbar:false;"><pre class="brush:php;toolbar:false;">file, err := os.Create(task.Path) if err != nil { ch <- err return } defer file.Close() io.Copy(file, resp.Body) ch <- nil
}
主流程中启动多个worker，从任务channel读取并执行。
单个大文件分块并发下载
对同一个大文件按字节范围分段，每个goroutine下载一段，最后合并。
- 先发送HEAD请求获取文件大小
- 计算每块的起始和结束字节位置
- 设置请求头Range: bytes=Start-End
- 各段保存为临时文件，全部完成后合并
关键点：
req, _ := http.NewRequest("GET", url, nil) req.Header.Set("Range", fmt.Sprintf("bytes=%d-%d", start, end))
确保服务器支持Range请求（状态码206）。
使用sync.WaitGroup控制协程生命周期
WaitGroup用于等待一组并发操作完成，适合已知任务数量的场景。
- Add(n) 设置需等待的goroutine数量
- 每个goroutine执行完调用Done()
- Main协程调用Wait()阻塞直到全部完成
典型结构：
var wg sync.WaitGroup for _, task := range tasks { wg.Add(1) go func(t Task) { defer wg.Done() // 执行下载逻辑 }(task) } wg.Wait()
带限流的并发下载（信号量模式）
使用带缓存的channel作为信号量，控制最大并发数。
- 创建容量为N的channel，代表最多N个并发
- 每个goroutine开始前写入channel（占坑）
- 结束后从channel读出（释放）
示例：
semaphore := make(chan struct{}, 5) // 最多5个并发 for _, task := range tasks { semaphore <- struct{}{} // 占用 go func(t Task) { defer func() { <-semaphore }() // 释放 // 下载逻辑 }(task) }
这种方法简单有效，避免过多连接导致系统崩溃。
基本上就这些。合理组合goroutine、channel、WaitGroup和限流机制，就能实现高效稳定的并发下载。关键是根据实际需求选择合适模型：多个小文件用worker pool，大文件考虑分片下载。不复杂但容易忽略细节，比如错误重试、临时文件清理和Range支持检测。