数据共享-spring batch(9)上下文处理 还在手工生成数据库文档?3个步骤自动完成了解一下 python处理Excel文件 python基本操作-文件、目录及路径 MinIO 的分布式部署 利用 MinIO 轻松搭建静态资源服务 搞定SpringBoot多数据源(3):参数化变更源 搞定SpringBoot多数据源(2):动态数据源 搞定SpringBoot多数据源(1):多套源策略 java开发必学知识:动态代理 springboot+apache前后端分离部署https springboot+logback日志输出企业实践(下) springboot+logback日志输出企业实践(上) springboot+swagger接口文档企业实践(下) springboot+swagger接口文档企业实践(上) 查阅了十几篇学习资源后,我总结了这份AI学习路径 java应用监测(8)-阿里诊断工具arthas java应用监测(7)-在线动态诊断神器BTrace java应用监测(6)-第三方内存分析工具MAT java应用监测(5)-可视化监测工具 java应用监测(4)-线上问题排查套路 java应用监测(3)-这些命令行工具你掌握了吗 java应用监测(2)-java命令的秘密 java应用监测(1)-java程序员应该知道的应用监测技术 mongo同步-spring batch(8)的mongo读写组件使用 使用docsify构建专业文档网站(下) 使用docsify构建专业文档网站(上) 调度与监控-spring batch(7)结合xxl-job进行批处理 增量同步-spring batch(6)动态参数绑定与增量同步 便捷的数据读写-spring batch(5)结合beetlSql进行数据读写 决战数据库-spring batch(4)数据库到数据库 快速使用组件-spring batch(3)读文件数据到数据库 快速了解组件-spring batch(2)之helloworld 数据批处理神器-Spring Batch(1)简介及使用场景 部署工具(deploy-tool)开源 java服务安装(三):使用appassembler java服务安装(二):使用commons-daemon java服务安装(一):使用java service wrapper及maven打zip包

便捷的数据读写-spring batch(5)结合beetlSql进行数据读写

2019年06月10日

便捷的数据读写-spring batch(5)结合beetlSql进行数据读写

tags: springbatch


1.引言

上一篇文章《决战数据库-spring batch(4)数据库到数据库》使用Spring Batch内置的读、写组件,对数据库间的数据进行同步。相对来说,这个数据读取和数据写入是基于jdbc进行读写的(数据对象的映射需要我们自己处理,如UserRowMapper),我们现在开发一般都使用上层一点的ORM框架,如Hibernate,MyBatis,BeetlSQL。对于Hibernate,Spring Batch有默认的HibernateCursorItemReaderHibernateItemWriter,也可以实现自行使用MyBatisBeetlSQL。个人感觉,从易用性和学习曲线上看,BeetlSQL会更容易上手,社区也挺活跃,因此,本文介绍一下使用Spring Batch结合BeetlSQL进行数据库到数据库的数据同步。

2.开发环境

  • JDK: jdk1.8
  • Spring Boot: 2.1.4.RELEASE
  • Spring Batch:4.1.2.RELEASE
  • BeetlSQL: 1.1.77.RELEASE
  • 开发IDE: IDEA
  • 构建工具Maven: 3.3.9
  • 日志组件logback:1.2.3
  • lombok:1.18.6

3.BeetlSQL简要说明

按官方文档,BeetlSQL是一个全功能DAO工具, 同时具有Hibernate优点 & Mybatis优点功能,适用于承认以SQL为中心,同时又需求工具能自动能生成大量常用的SQL的应用。详细可参考官方文档。从最近一段时间的使用过程中,感觉从开发效率、维护性、易用性,都比较优秀。

4.使用BeetlSQL读写数据库

本示例依然是基于上一篇文章的示例功能,从源数据库中读取test_user表的数据,然后经过处理,再写入到目标数据库的test_user表中。只是不是使用Spring Batch内置的JdbcCursorItemReaderJdbcBatchItemWriter,改为使用BeetlSQL进行读写。完整示例可参考代码

4.1 引入BeetlSQL依赖

BeetlSQL提供了Spring Bootstarter来实现自动配置,在pom.xml添加以下依赖即可:

<!-- orm框架: beetlsql -->
<dependency>
	<groupId>com.ibeetl</groupId>
	<artifactId>beetl-framework-starter</artifactId>
	<version>1.1.77.RELEASE</version>
</dependency>

添加后,会添加两个依赖,分别是beetl-2.9.9,和beetlsql-2.11.2,如下图:

beetlsql

4.2 编写多数据源的dao

4.2.1 添加配置文件

由于我们是使用多数据源进行读写,关于多数据源的配置,上一篇文章已经进行了描述,此处不再说明。BeetlSQL对多数据源有较好的支持,只需要简单的配置即可。具体可参考官方文档。下面对此做简单说明。在application.properties文件中添加以下配置:

#beetlsql配置
#默认/sql,可不设置
#beetlsql.sqlPath=/sql
#dao文件的后缀
beetlsql.daoSuffix=Repository
#自动加载和查找的dao文件所在包
beetlsql.basePackage=me.mason.springbatch
#默认org.beetl.sql.core.db.MySqlStyle,可不设置
#beetlsql.dbStyle=org.beetl.sql.core.db.MySqlStyle
#多数据源dao文件所在位置,以包区分读写数据源
beetlsql.ds.datasource.basePackage=me.mason.springbatch.dao.local
beetlsql.ds.originDatasource.basePackage=me.mason.springbatch.dao.origin
beetlsql.ds.targetDatasource.basePackage=me.mason.springbatch.dao.target
beetlsql.mutiple.datasource=datasource,originDatasource,targetDatasource

说明:

  • beetlsql.daoSuffix表示Dao文件的后缀,BeetlSql会根据此后缀加载Dao
  • beetlsql.mutiple.datasource数据源名与数据源的配置一致。

4.2.2 添加dao文件

添加上述配置后,由于使用包名来区分读写数据源的Dao,因此需要创建对应的包,分别在工程中me.mason.springbatch下创建dao.local,dao.origindao.target三个包,分别存放需要读取的三个数据源对应的Dao。在本示例中,仅使用源数据库和目标数据库,因此,仅需要在dao.origin中添加OriginUserRepository进行源数据读操作,在dao.target中添加TargetUserRepository进行写操作即可。(注意,由于配置中指定是使用后缀Repository,因此此处的类名需要使用它作为后缀)。如下:

OriginUserRepository.java

@Repository
public interface OriginUserRepository extends BaseMapper<User> {
    List<User> getOriginUser(Map<String,Object> params);
}

TargetUserRepository.java

@Repository
public interface TargetUserRepository extends BaseMapper<User> {
}

说明:

  • 使用注解@Repository标注是数据读写dao
  • 继承BaseMapper,以使用BeetlSQL内置的增删改查能力
  • 对于OriginUserRepositorygetOriginUser是自定义的数据读取操作,此操作具体实现是使用写在sql/user.md中的sql语句(sql语句在后面将说明)。

4.3 编写sql文件

根据BeetlSql的功能,开发者可以自定义sql语句进行数据库操作,而sql语句是以markdown文件的形式保存,支持beetl的语法,支持参数化语句,逻辑判断等操作,这就有点像Mybatis中的xml语句,但显示和修改会更友好。具体sql文件更详细的使用功能,读者可到官文档查阅。

本示例中,上面OriginUserRepository自定义了getOriginUser函数,以此函数名即可编写sql进行读数据(当然,由于此sql比较简单,完全可以不写到markdown文件也可以实现,此处仅做示例展示此功能而已)。如下所示:

getOriginUser
===
* 查询user数据

select * from test_user

接着就是写数据需要用到的sqlinsertUser是这条语句的名称,在插入数据时会使用到:

insertUser
===
* 插入数据

insert into test_user(id,name,phone,title,email,gender,date_of_birth
    ,sys_create_time,sys_create_user,sys_update_time,sys_update_user)
values (#id#,#name#,#phone#,#title#,#email#,#gender#,#dateOfBirth#
    ,#sysCreateTime#,#sysCreateUser#,#sysUpdateTime#,#sysUpdateUser#)

由上面的sql可见,这跟我们平时写sql没有区别,其中以##包括的是参数,即实体User的字段。

4.4 编写读组件ItemReader

经过上面的配置和添加的dao类,我们已经有了读和写数据的能力。使用OriginUserRepository,可以编写Spring BatchItemReader。读取数据后在内存中,在read()时返回。如下所示:

@Slf4j
public class UserItemReader implements ItemReader<User> {
    protected List<User> items;

    protected Map<String,Object> params;
    @Autowired
    private OriginUserRepository originUserRepository;

    @Override
    public User read() throws Exception, UnexpectedInputException, ParseException, NonTransientResourceException {
        if(Objects.isNull(items)){
            //使用beetlsql的md执行sql
            items = originUserRepository.getOriginUser(params);
            if(items.size() > 0){
                return items.remove(0);
            }
        }else{
            if (!items.isEmpty()) {
                return items.remove(0);
            }
        }
        return null;
    }

    public Map<String, Object> getParams() {
        return params;
    }

    public void setParams(Map<String, Object> params) {
        this.params = params;
    }
}

说明:

  • originUserRepository.getOriginUser执行的是user.mdgetOriginUser查询语句。
  • 查询后数据保存在List<User>,在read()时返回其中的数据。全部返回后会返回null,以表示结束。
  • BeetlSql支持使用Map来传参,本示例暂时没有使用。

4.5 编写写组件ItemWriter

读取到数据后,使用TargetUserRepository,执行上面编写的insertUser来插入数据。如下所示

public class UserItemWriter implements ItemWriter<User> {
    @Autowired
    private TargetUserRepository targetUserRepository;

    @Override
    public void write(List<? extends User> items) throws Exception {
        targetUserRepository.getSQLManager().updateBatch("user.insertUser",items);
    }
}

说明:

  • 使用SQLManagerupdateBatch批量写数据
  • user.insertUser中,usermarkdown文件的名称,也是实体名称,insertUser是写的sql语句。

4.6 组装完整任务

新建BeetlsqlBatchConfig.java,作为Spring Batch的任务配置

4.6.1 注入读写组件

使用上面已写的ReaderWriter,使用Bean注解加入,如下:

@Bean
public ItemReader beetlsqlItemReader() {
    UserItemReader userItemReader = new UserItemReader();
    //设置参数,当前示例可不设置参数
    Map<String,Object> params = CollUtil.newHashMap();
    userItemReader.setParams(params);
    return userItemReader;
}

@Bean
public ItemWriter beetlsqlWriter() {
    return new UserItemWriter();
}

4.6.2 组装任务

使用StepJob,实现完整的任务配置,如下:

@Bean
public Job beetlsqlJob(Step beetlsqlStep,JobExecutionListener beetlsqlListener){
    String funcName = Thread.currentThread().getStackTrace()[1].getMethodName();
    return jobBuilderFactory.get(funcName)
            .listener(beetlsqlListener)
            .flow(beetlsqlStep)
            .end().build();
}
@Bean
public Step beetlsqlStep(ItemReader beetlsqlItemReader ,ItemProcessor beetlsqlProcessor
        ,ItemWriter beetlsqlWriter){
    String funcName = Thread.currentThread().getStackTrace()[1].getMethodName();
    return stepBuilderFactory.get(funcName)
            .<User,User>chunk(10)
            .reader(beetlsqlItemReader)
            .processor(beetlsqlProcessor)
            .writer(beetlsqlWriter)
            .build();
}

4.7 测试

参考上一文章的Db2DbJobTest,编写BeetlsqlJobTest文件。测试前先把目标数据库中的test_user库清空,然后启动Job进行测试,结果跟Db2DbJobTest是一致的。日志输出如下:

result

在上面使用BeetlSql过程中,可见有几个好处:

  • 不需要自己写RowMapper对数据进行映射,更简单。
  • sql语句写在markdown文件中,修改更灵活。
  • sql语句执行输出在日志中,更清晰。

5.总结

本文使用Spring Batch对数据库到数据库的示例做了一个改动,使用BeetlSQL进行多数据源的读写操作,以实现更简单、更灵活、更清晰的数据库读写。希望对想要用Spring Batch同时又想了解BeetlSql的读者有帮助。