17370845950

Mybatis批量操作解析

在项目中,批量操作是常见的需求,尤其是在处理大量数据时,如批量新增商户或批量修改商户信息。直接在java代码中通过循环发送sql到数据库执行是不切实际的,因为这意味着要与数据库建立数万次会话,即使在同一个连接中,也会存在重复编译和执行sql的开销。例如,循环插入10000条数据可能需要3秒钟。

在MyBatis中,支持批量操作,包括批量插入、更新和删除。我们可以直接传入一个List、Set、Map或数组,利用动态SQL标签,MyBatis会自动生成语法正确的SQL语句。

批量插入的语法非常简单,只需在values后面增加插入的值即可。在Mapper文件中,使用foreach标签拼接values部分的语句:

    
        insert into blog (bid, name, author_id)
        values
        
            ( #{blogs.bid},#{blogs.name},#{blogs.authorId} )
        
    

在Java代码中,直接传入一个List类型的参数:

    /**
     * MyBatis 动态SQL批量插入
     * @throws IOException
     */
    @Test
    public void testInsert() throws IOException {
        long start = System.currentTimeMillis();
        int count = 12000;
        List list = new ArrayList();
        for (int i=2000; i

插入一万条数据大约耗时1秒钟。可以看到,动态SQL批量插入的效率比循环发送SQL执行高得多。关键在于减少了与数据库的交互次数,并且避免了开启和结束事务的时间消耗。

批量更新的语法是通过case when来匹配id相关的字段值。

在Mapper文件中,最关键的是case when和where的配置,需要注意open属性和separator属性。

    
        update blog set
        name =
        
            when #{blogs.bid} then #{blogs.name}
        
        ,author_id =
        
            when #{blogs.bid} then #{blogs.authorId}
        
        where bid in
        
            #{item.bid,jdbcType=INTEGER}
        
    

在Java代码中,传入一个List类型的参数:

    /**
     * MyBatis 动态SQL批量更新
     * @throws IOException
     */
    @Test
    public void updateBlogList() throws IOException {
        long start = System.currentTimeMillis();
        int count = 12000;
        List list = new ArrayList();
        for (int i=2000; i

批量删除的语法与批量更新类似:

    
        delete from blog where bid in
        
            #{item.bid,jdbcType=INTEGER}
        
    

在Java代码中,传入一个List类型的参数:

    /**
     * 动态SQL批量删除
     * @throws IOException
     */
    @Test
    public void testDelete() throws IOException {
        SqlSession session = sqlSessionFactory.openSession();
        try {
            BlogMapper mapper = session.getMapper(BlogMapper.class);
            List list = new ArrayList();
            Blog blog1 = new Blog();
            blog1.setBid(666);
            list.add(blog1);
            Blog blog2 = new Blog();
            blog2.setBid(777);
            list.add(blog2);
            mapper.deleteByList(list);
        } finally {
            session.close();
        }
    }

当然,MyBatis的动态标签批量操作也存在一定的缺点。比如数据量特别大时,拼接出来的SQL语句过大。MySQL的服务端对于接收的数据包有大小限制,max_allowed_packet默认是4M,需要修改默认配置或者手动控制条数,才能解决这个问题。

在我们的全局配置文件中,可以配置默认的Executor类型(默认是SIMPLE)。其中有一种BatchExecutor。

一共有三种Executor类型:

三种类型的区别可以通过doUpdate()方法对比:

  1. SimpleExecutor:每执行一次update或select,就开启一个Statement对象,用完立刻关闭Statement对象。
  2. ReuseExecutor:执行update或select,以sql作为key查找Statement对象,存在就使用,不存在就创建,用完后,不关闭Statement对象,而是放置于Map内,供下一次使用。简言之,就是重复使用Statement对象。
  3. BatchExecutor:执行update(没有select,JDBC批处理不支持select),将所有sql都添加到批处理中(addBatch()),等待统一执行(executeBatch()),它缓存了多个Statement对象,每个Statement对象都是addBatch()完毕后,等待逐一执行executeBatch()批处理。与JDBC批处理相同。

executeUpdate()是一个语句访问一次数据库,executeBatch()是一批语句访问一次数据库(具体一批发送多少条SQL跟服务端的max_allowed_packet有关)。BatchExecutor底层是对JDBC ps.addBatch()和ps.executeBatch()的封装。