轻量级大数据处理工具
LargeDataBatch
Introduction
LargeDataBatch是一个轻量级大数据处理工具,提供简单易用的API。
Overview
在项目开发过程中,经常会遇到大数据问题处理问题，比如上G的数据需要入库,同时对数据的处理通常会有内存限制和处理时间要求。基于此,开发此代码,可通过调整参数达到要求。
Features
1、通过调整线程数和批次数，可调节数据库CPU的高低，充分压榨数据库
2、默认提供对Mybatis的支持
3、提供定时读取和处理功能,适合比如读取MQ等不确定信息，但需要轮训并及时处理的情况
4、自动对数据进行分片
5、充分利用线程池,避免空闲线程
6、数据处理完毕后，可继续执行同步交易
GettingStarted
Mavendependency
<dependency>
<groupId>cn.ymotel</groupId>
<artifactId>largedatabtach</artifactId>
<version>1.0.2</version>
</dependency>
Gradledependency
compilegroup:'cn.ymotel',name:'largedatabtach',version:'1.0.2'
MybatisBatchDataConsumermybatisbatch=newMybatisBatchDataConsumer();
mybatisbatch.setSqlSessionFactory(sqlSession);
LargeDataBatchbatchhelp=newThreadSafeLargeDataBatchHelp();
batchhelp.init(100,10,mybatisbatch);
MybatisResultHandlerresult=newMybatisResultHandler();
result.setSql("xx");
result.setDatabatch(batchhelp)
sqlSession.select("xxx",result);
batchhelp.end();
代码调用逻辑:
-1、batchhelp.init(100,10,mybatisbatch)初始化批次数，线程数和数据处理类.
-2、使用sqlSession.select()方法，调用MybatisResultHandler，将取得的数据放入batchhelp的队列中,
-3、在batchhelp中的数据达到一个批次后，将数据和数据处理类推送给消费者(MybatisBatchDataConsumer)进行处理
-4、最后调用end方法，将队列中不够一个批次的数据推送给消费者类(MybatisBatchDataConsumer)进行处理
##Principle
在数据提供者提供数据后，将数据放入队列,如果队列达到批次数，将数据提交给线程池。
线程池有空闲队列，消费数据。线程池无空闲队列,阻塞主线程，防止过量获取数据。
线程池有空闲线程后，将队列数据再此提交给线程,同时唤醒主线程，使得主线程可继续提供数据
##Usage
数据提供者可以是数据库,也可以是文件或者其他类型,多种多样,只要能调用addData或者addSql方法即可。
数据提供者和消费者可自由组合
BatchDataConsumer接口介绍
消费者可通过spring配置或者通过new方法实例化进行定义。
程序得到消费者对象后，会生成多个副本，以提高性能
消费者类需要实现BatchDataConsumer接口，程序中因为将会生成多个副本,程序在调用end方法后
，会销毁程序中的副本，为了避免内存泄漏,请注意在close方法中关闭相应对象
程序会调用Runnable的run方法进行数据处理
ThreadSafeLargeDataBatchHelp方法介绍:
LargeDataBatch目前有LargeDataBatchHelp和ThreadSafeLargeDataBatchHelp两个实现类
,推荐使用ThreadSafeLargeDataBatchHelp
ThreadSafeLargeDataBatchHelp可在spring中进行配置，供其他类引用。
/**
*设置在一个jvm内的总的最高可并行的线程数,
*在一个jvm中可能会多个地方调用ThreadSafeLargeDataBatchHelp类。
*如果不加控制，可能导致应用服务器在同一时间线程数过大,应用服务器处理异常情况发生，
*如果消费者同时超过数据库也可能导致数据库超过阈值情况发生
*不设置,则不会对线程池中的线程数进行总体控制
*@paramtotalThreadCount
*/
publicvoidsetTotalThread(inttotalThreadCount){
init方法中参数介绍：
beanName是spring中配置的beanName，需配置为singleton="false",需要实现BatchDataInterface接口
使用此参数需要ThreadSafeLargeDataBatchHelp可得到ApplicationContext对象，
推荐在spring中进行自动注入，
batchsize在达到批次数后，会将一批数据整体提交到线程池进行处理,
在数据库中为了提高性能，对大数据的处理一般都是批次提交，
通过开启此batchsize后，可将数据自动分组
threadsize线程数,开启多少个线程同时处理此数据,
如果是数据处理结果是数据库入库操作，通过调整此大小，可提高或者降低数据库的CPU
timeout超过时间，线程会将未达阀值数据自动提交，如果不设置超时时间
，则默认不开启。
需要定时轮训读取流信息，无法调用end方法的场景可通过增加此参数，实现自动提交
BatchDataInterfacet是通过new方法实例化的bean
/**
*@parambatchsize在thread中的每次执行条数
*@paramthreadsize同时并发的线程数
*@parambeanName在配置文件中改Aciton需配置为singleton="false"
*/
publicvoidinit(intbatchsize,intthreadsize,StringbeanName)
/**
*@parambatchsize在thread中的每次执行条数
*@paramthreadsize同时并发的线程数
*@parambeanName需配置为singleton="false"
*@paramtimeout超过时间，线程会将未达阀值数据，自动提交
*/
publicvoidinit(intbatchsize,intthreadsize,StringbeanName,longtimeout)
/**
*@parambatchsize在thread中的每次执行条数
*@paramthreadsize同时并发的线程数
*@paramt实现BatchDataInterface的对象
*/
publicvoidinit(intbatchsize,intthreadsize,BatchDataInterfacet)
/**
*@parambatchsize在thread中的每次执行条数
*@paramthreadsize同时并发的线程数
*@paramt实现BatchDataInterface的对象
*@paramtimeout超过时间，线程会将未达阀值数据，自动提交
*/
publicvoidinit(intbatchsize,intthreadsize,BatchDataInterfacet,longtimeout){
addSql方法介绍：
程序会将sql和obj数据组成一个数组,放入队列中，在达到阈值将数据放入List中供消费者调用
/**
*程序会将sql和数据组成一个数组,放入队列中，供消费者调用
*@paramsql
*@paramobj
*/
publicvoidaddSql(Stringsql,Objectobj){
/**
*程序会将obj,放入队列中，在达到阈值将数据放入List中供消费者调用
*@paramobj
*/
publicvoidaddData(Objectobj){
/**
*数据处理结尾一般会剩余一些未达到batchsize的数据未处理,通过调用此方法
*,可将未达到阈值的数据提交到线程池中进行处理
*/
publicvoidend(){
网址:https://github.com/allon2/lightLargeDataBatch