Go通过goroutine并发发起HTTP Range请求实现多线程分块下载:先HEAD获取总大小,按字节范围切分,各goroutine用WriteAt写入对应偏移,channel汇总结果并支持断点续传。
Go 本身没有内置“多线程”概念,但可通过 goroutine + HTTP Range 请求 实现并发下载。原理是将一个大文件按字节范围切分成多个片段(如 0-999999、1000000-1999999…),每个 goroutine 独立发起带 Range 头的 GET
请求,写入对应偏移位置的临时文件,最后合并或直接拼接到目标文件。
需注意:服务端必须支持 Accept-Ranges: bytes,否则无法分片。可用 curl -I URL 检查响应头。
Content-Length 响应头ceil(total / chunkSize) 个 goroutineos.OpenFile 配合 os.SEEK_SET),用 file.WriteAt(data, offset) 写入指定位置,避免竞态以下为最小可行实现,支持断点续传基础逻辑(检查已存在文件并跳过已下载段):
func downloadPart(url string, start, end int64, dst *os.File, wg *sync.WaitGroup, errCh chan error) {
defer wg.Done()
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("Range", fmt.Sprintf("bytes=%d-%d", start, end))
resp, err := http.DefaultClient.Do(req)
if err != nil {
errCh <- err
return
}
defer resp.Body.Close()
buf := make([]byte, 32*1024)
for {
n, rerr := resp.Body.Read(buf)
if n > 0 {
_, werr := dst.WriteAt(buf[:n], start)
start += int64(n)
if werr != nil {
errCh <- werr
return
}
}
if rerr == io.EOF {
break
}
if rerr != nil {
errCh <- rerr
return
}
}}
调用时创建目标文件(os.Create),预分配大小(f.Truncate(totalSize)),再启动多个 downloadPart goroutine 即可。
实用增强建议
生产环境可进一步优化:
http.Client{Timeout: 30 * time.Second}
semaphore 控制 goroutine 数量(如最多 4 个并发)github.com/vbauerster/mpb/v8 等库绘制实时进度条