17370845950

Go语言高并发需合理调度：用固定worker池+任务channel限并发，sync.WaitGroup等待完成，context控制超时与取消，channel做生产者-消费者通信并设缓冲防阻塞。

Go语言天生支持高并发，开启多协程（goroutine）处理任务并不难，关键在于合理调度、避免资源争用、控制并发规模、确保结果可靠。下面从实际出发，讲清楚核心思路和常用做法。

用 go 关键字快速启动协程，但别无节制

最基础的方式就是 go func() { ... }()。但直接在循环里狂起 goroutine 很容易压垮系统——比如读取10万行日志并逐行处理，如果每行都起一个 goroutine，瞬间上十万协程，内存和调度开销会飙升。

• 推荐配合 固定数量的工作协程 + 任务队列（channel）使用
• 用 sync.WaitGroup 等待所有任务完成
• 必要时加 runtime.GOMAXPROCS(n) 控制并行线程数（通常默认即可，不建议随意改）

用 channel 做任务分发与结果收集

channel 是 Go 并发的“管道”，天然适合做生产者-消费者模型。把任务发到输入 channel，多个 goroutine 从里面取；处理完再把结果写进输出 channel。

• 输入 channel 一般设为 chan Task，关闭后消费者能感知退出
• 输出 channel 可以是 chan Result，主协程 range 接收，或用 select 配合超时控制
• 注意 buffer 大小：无缓冲 channel 会同步阻塞，有缓冲可缓解瞬时压力（如 make(chan Task, 100)）

限制并发数：worker pool 模式最稳妥

真正可控的并发调度，靠的是 worker pool（工作池）。它明确限定同时运行的 goroutine 数量，既防爆又保吞吐。

• 启动 N 个长期运行的 worker 协程，每个都 for-select 从任务 channel 读取
• 主协程只负责往 channel 塞任务，不关心谁来干
• 可通过调整 worker 数量（如 CPU 核心数的 2–4 倍）平衡 I/O 密集型或 CPU 密集型任务
• 简单示例：启动 5 个 worker 处理一批 URL 抓取任务，无论 URL 是 100 个还是 10 万个，最多同时发 5 个请求

错误处理与上下文取消不能少

真实场景中，任务可能失败、超时、被主动中断。用 context.Context 统一管理生命周期非常必要。

• 把 ctx 传给每个 worker，在 I/O 调用中使用（如 http.NewRequestWithContext）
• worker 内部用 select { case 响应取消
• 主协程调用 ctx, cancel := context.WithTimeout(...)，并在结束前 cancel()
• 错误建议通过额外 channel 或结构体字段返回，避免 panic 泛滥

基本上就这些。Golang 并发不复杂，但容易忽略调度边界和资源守恒。把 channel 当队列、worker 当工人、context 当哨兵，模型就立住了。