17370845950

直接用 http.Get 开多个 goroutine 容易失败，因默认客户端连接池限制（MaxIdleConns 和 MaxIdleConnsPerHost 均为100），高并发时请求阻塞排队、超时或取消；应自定义 Client 并设 Timeout，用带缓冲 channel 限流并发。

为什么直接用 http.Get 开多个 goroutine 容易失败

Go 的 http.DefaultClient 底层复用 TCP 连接，但默认只允许最多 100 个并发连接（MaxIdleConns）和每 host 最多 100 个（MaxIdleConnsPerHost）。如果你起 500 个 goroutine 调 http.Get，大量请求会阻塞在连接池排队，甚至超时或返回 net/http: request canceled (Client.Timeout exceeded)。

• 务必自定义 http.Client，调大连接池参数
• 必须设置 Timeout，否则失败请求可能永久挂起 goroutine
• 避免用 http.Get —— 它用的是默认 client，不可控

如何安全启动 N 个并发下载 goroutine

核心是控制并发数，不能无节制起 goroutine。用带缓冲的 channel 当“信号量”最直观：它天然限流，且能配合 select 做超时/取消。

sem := make(chan struct{}, 10) // 限制最多 10 并发
for _, url := range urls {
    sem <- struct{}{} // 获取令牌
    go func(u string) {
        defer func() { <-sem }() // 归还令牌
        resp, err := client.Get(u)
        if err != nil {
            log.Printf("download %s failed: %v", u, err)
            return
        }
        defer resp.Body.Close()
        // 写入文件...
    }(url)
}

• 缓冲大小即最大并发数，设太小吞吐低，设太大压垮服务端或本地资源
• 一定要在 goroutine 内部 defer func() { ，不能在外层，否则会提前释放
• URL 要传参进闭包，否则所有 goroutine 共享同一个 url 变量（常见 bug）

下载文件时如何避免内存爆炸

用 io.Copy 流式写入，别把整个响应体读进 []byte。尤其下载大文件时，resp.Body.ReadAll() 会一次性分配几百 MB 内存，极易 OOM。

out, err := os.Create(filename)
if err != nil {
    return err
}
defer out.Close()
_, err = io.Copy(out, resp.Body) // 零拷贝流式写入
if err != nil {
return err
}

• io.Copy 内部用 32KB 缓冲区，内存占用恒定
• 记得 defer resp.Body.Close()，否则连接不释放，连接池迅速耗尽
• 如果需校验（如 SHA256），用 io.TeeReader 边读边算，不要先存再算

如何处理重定向、404 和证书错误

http.Client 默认跟随重定向（CheckRedirect 为 nil），但 404 不报错，需手动检查 resp.StatusCode；自签名证书则要定制 Transport.TLSClientConfig。

• 判断失败：只把 200 当作成功，其余统一按错误处理
• 禁用重定向：设 CheckRedirect: func(req *http.Request, via []*http.Request) error { return http.ErrUseLastResponse }
• 跳过证书验证（仅测试）：&http.Transport{TLSClientConfig: &tls.Config{InsecureSkipVerify: true}}，生产环境必须配好 CA

真正难的不是并发本身，而是每个下载请求背后隐含的状态管理

：连接复用是否健康、文件句柄是否及时关闭、错误是否被静默吞掉、磁盘空间是否足够写入。这些细节不显眼，但一出问题就是大面积失败。