17370845950

Go中优化数据库批量操作的核心是复用连接、合并SQL语句、分段事务和预编译语句，通过减少连接获取、事务开销及SQL解析提升吞吐3–10倍。

在 Go 中优化数据库批量操作，核心是减少事务启动次数和连接频繁获取/释放的开销。关键不在于单条 SQL 多快，而在于让“一次事务 + 一批语句”承载尽可能多的有效工作。

复用连接，避免每次操作都 NewConn

数据库连接（尤其是通过 sql.DB 获取的）本身已内置连接池，但若在循环中反复调用 db.Exec 或 db.Query，仍可能触发多次连接获取与上下文切换。更糟的是手动 db.Conn() + defer conn.Close()，会绕过连接池管理。

• 直接使用 *sql.DB 的方法（如 ExecContext），由连接池自动复用空闲连接
• 避免在循环内显式取连接；如需强一致性控制（例如跨多条语句的隔离），再用 db.BeginTx 获取一个事务对象，复用它执行全部批量语句
• 确认 sql.DB.SetMaxOpenConns 和 SetMaxIdleConns 设置合理（例如批量写入场景可适当调高）

合并语句，用原生批量语法替代循环 Exec

多数关系型数据库支持单条 SQL 插入/更新多行，性能远高于 N 次单行执行。Go 的 database/sql 本身不拼 SQL，需手动构造或借助工具。

• 插入：用 INSERT INTO t(col1,col2) VALUES (?,?),(?,?),...; —— 一行含 100~500 组值较稳妥（注意 MySQL max_allowed_packet 限制）
• 更新：可用 INSERT ... ON DUPLICATE KEY UPDATE（MySQL）或 INSERT ... ON CONFLICT DO UPDATE（PostgreSQL）实现 upsert 批量
• 慎用 sql.Named + struct 切片：它底层仍是逐行绑定，未真正合并 SQL；应手动生成带多个 value 占位符的语句

控制事务粒度：大批次分段提交，而非全包一个事务

一个事务包几万行看似省事，实则风险高：锁持有时间长、WAL 日志暴涨、OOM、回滚代价大。理想做法是“够大但可控”。

• 按 1000–5000 行为一组，每组显式开启并提交一个事务
• 用 tx, err := db.BeginTx(ctx, &sql.TxOptions{Isolation: sql.LevelDefault}) 开启，复用该 tx 执行所有本组语句
• 成功后 tx.Commit()，失败则 tx.Rollback()，不影响其他组
• 分组逻辑放在应用层（如切片分块），不依赖数据库 LIMIT/OFFSET 分页（那会扫描冗余数据）

启用预编译语句（Prepare），尤其高频批量场景

如果同一批处理逻辑反复执行（如定时导入任务），提前 Prepare 可跳过 SQL 解析与计划生成，降低服务端压力。

• 对固定结构的批量插入，用 stmt, err := db.Prepare("INSERT INTO t(x,y) VALUES (?,?)") 一次，后续用 stmt.Exec(args...)
• 注意：Prepare 返回的 *sql.Stmt 是并发安全的，可被多个 goroutine 复用
• 长期运行服务建议缓存 stmt（如存在全局变量或 sync.Pool），避免重复 Prepare

不复杂但容易忽略：批量的本质是“用空间换时间、用聚合减调度”。把连接、事务、SQL 结构这三层的复用做扎实，吞吐常能提升 3–10 倍。