17370845950

Go批量写入并发优化需平衡吞吐、延迟与资源，核心是控制批次大小（100–1000条/批）、并发数及背压；如PostgreSQL用500行批量插入提速5–10倍，gRPC需按字节数切分并动态调优。

Go语言中实现批量写入（batch write）的并发优化，核心在于平衡吞吐量、延迟和资源消耗——不是单纯加goroutine，而是控制批次大小、并发数、缓冲与背压机制。

合理划分批次大小（Batch Size）

批次太小，网络或I/O调用频繁，开销大；太大则内存占用高、失败时重试成本高、延迟上升。常见经验范围是 100–1000 条/批，具体需结合数据体积、目标存储（如MySQL、Redis、Kafka、Elasticsearch）和RTT测试调整。

• 例如写入PostgreSQL：用INSERT INTO ... VALUES (...), (...), (...) 批量插入，500行/批通常比逐条快5–10倍
• 写入gRPC服务时，注意单次请求大小限制（如默认4MB），需按字节数而非条数切分
• 可动态调整：初始设为200，根据上一批耗时 > 100ms 则减半，

使用带缓冲的Worker池控制并发

避免无节制启动goroutine导致OOM或目标端被打爆。推荐用固定数量worker + channel缓冲队列模型：

• 定义一个chan []Item作为任务通道，容量建议设为并发数×2~3（防生产者阻塞）
• 启动N个worker goroutine，每个循环从channel取一批，执行写入，失败时可重试1次或丢入错误队列
• N一般设为后端连接数或CPU核心数的1–2倍（如MySQL连接池=20，worker设16较稳妥）

添加简单背压与超时控制

防止生产者过快压垮消费者。不依赖复杂信号量，可用以下轻量方式：

• 向batch channel发送前，用select { case ch 实现非阻塞提交
• 每批设置context超时（如ctx, _ := context.WithTimeout(context.Background(), 5*time.Second)），避免单批卡死拖垮整体
• 对关键写入，记录每批成功数、耗时、错误码，用prometheus暴露batch_write_duration_seconds直方图指标

错误处理与幂等性设计

批量失败不能简单整批丢弃——要定位失败子项，支持重试或降级。

• 若目标系统支持partial success（如Elasticsearch bulk API、Kafka Producer），解析响应体提取失败ID，只重试失败项
• 写数据库时，用唯一键+ON CONFLICT DO NOTHING/UPDATE保障幂等；避免因重试产生脏数据
• 业务层可为每批生成trace ID，日志打点包含batch_id、start_time、item_count、success_count，便于问题追溯

基本上就这些。不需要引入重型框架，用原生channel+context+少量状态管理，就能在多数场景下把批量写入做得既快又稳。