17370845950

Go实现多消息队列并发消费者需分离连接、独立goroutine、统一工作池与优雅退出：为各队列建独立连接与消费者实例，启动专属goroutine拉取消息至共享channel，用固定worker池统一处理并按来源分支业务逻辑，通过context和WaitGroup协调生命周期。

用 Go 实现能同时消费多个消息队列的并发消费者，核心在于：**分离队列连接、独立启动消费者 goroutine、统一处理逻辑、合理控制并发与错误恢复**。不需要复杂框架，标准库 + 少量第三方客户端（如 `github.com/segmentio/kafka-go`、`github.com/streadway/amqp`）就能高效完成。

1. 为每个队列建立独立连接与消费者实例

不同队列（如 Kafka topic A、RabbitMQ queue B、Redis Stream C）需各自维护连接和读取循环，避免单点故障影响全部队列。

• 每个队列配置独立的地址、认证、超时等参数
• 使用结构体封装单个队列的消费者状态（client、ctx、cancel、logger 等）
• 连接失败时重试（带退避），不阻塞其他队列启动

2. 每个队列启动专属 goroutine 运行消费循环

每个队列对应一个长期运行的 goroutine，持续拉取消息并投递给统一处理管道。

• 用 无缓冲或带限缓冲的 channel（如 chan Message）作为中间队列，解耦拉取与处理
• 拉取循环内做基础解析（反序列化）、打标（来源队列名、时间戳），再 send 到共享 channel
• 捕获网络断连、权限错误等，记录日志并触发重连逻辑

3. 统一工作池处理所有队列的消息

用固定数量的 goroutine 从共享 channel 消费消息，实现跨队列的并发处理与资源复用。

• 启动 N 个 worker goroutine（N 根据 CPU 和任务类型调整，通常 4–16）
• 每个 worker 调用同一处理函数 process(msg Message)，内部根据 msg.Source 分支处理业务逻辑
• 处理失败时支持重试（本地重试 or 转发到死信队列），避免阻塞 channel

4. 生命周期管理与优雅退出

主程序需协调多个 goroutine 的启停，确保消息不丢失、连接被释放。

• 使用 sync.WaitGroup 等待所有消费者和 worker 退出
• 监听 os.Interrupt 或自定义信号，触发全局 cancel context
• 消费者 goroutine 检测 context Done 后，完成当前消息、关闭连接、退出循环
• worker 在 channel 关闭后处理完剩余消息再退出