阿里架构师分享:Spring Boot Quartz 分布式集群任务调度实现
Spring Boot Quartz
主要内容
- Spring Scheduler 框架
- Quartz 框架,功能强大,配置灵活
- Quartz 集群
- mysql 持久化定时任务脚本(tables_mysql.sql)
介绍
在工程中时常会遇到一些需求,例如定时刷新一下配置、隔一段时间检查下网络状态并发送邮件等诸如此类的定时任务。
定时任务本质就是一个异步的线程,线程可以查询或修改并执行一系列的操作。由于本质是线程,在 Java 中可以自行编写一个线程池对定时任务进行控制,但这样效率太低了,且功能有限,属于重复造轮子。
分布式任务调度应用场景
Quartz的集群功能通过故障转移和负载平衡功能为您的调度程序带来高可用性和可扩展性。
调度程序中会有很多定时任务需要执行,一台服务器已经不能满足使用,需要解决定时任务单机单点故障问题。
用Quartz框架,在集群环境下,通过数据库锁机制来实现定时任务的执行;独立的 Quartz 节点并不与另一其的节点或是管理节点通信。
Spring Scheduler 实现定时任务
1.定义 Task 类
2.启动定时任务
在Spring Boot的主类中加入@EnableScheduling注解,启用定时任务的配置
quartz实现分布式定时任务
quartz 是一个开源的分布式调度库,它基于java实现。
> 它有着强大的调度功能,支持丰富多样的调度方式,比如简单调度,基于cron表达式的调度等等。
> 支持调度任务的多种持久化方式。比如支持内存存储,数据库存储,Terracotta server 存储。
> 支持分布式和集群能力。
> 采用JDBCJobStore方式存储时,针对事务的处理方式支持全局事务(和业务服务共享同一个事务)和局部事务(quarzt 单独管理自己的事务)
> 基于plugin机制以及listener机制支持灵活的扩展。
1.pom.xml配置
2.spring-quartz.properties集群配置
3.定义两个job
- QuartzJob.java
- QuartzJob2.java
4.初始化触发器等信息,这里通过Listener初始化
@Slf4j public class StartApplicationListener implements ApplicationListener<ContextRefreshedEvent> { @Autowired SchedulerConfig schedulerConfig; public static AtomicInteger count = new AtomicInteger(0); private static String TRIGGER_GROUP_NAME = "test_trriger"; private static String JOB_GROUP_NAME = "test_job"; @Override public void onApplicationEvent(ContextRefreshedEvent event) { // 防止重复执行 if (event.getApplicationContext().getParent() == null && count.incrementAndGet() <= 1) { initMyJob(); } } public void initMyJob() { Scheduler scheduler = null; try { scheduler = schedulerConfig.scheduler(); TriggerKey triggerKey = TriggerKey.triggerKey("trigger1", TRIGGER_GROUP_NAME); CronTrigger trigger = (CronTrigger) scheduler.getTrigger(triggerKey); if (null == trigger) { Class clazz = QuartzJob.class; JobDetail jobDetail = JobBuilder.newJob(clazz).withIdentity("job1", JOB_GROUP_NAME).build(); CronScheduleBuilder scheduleBuilder = CronScheduleBuilder.cronSchedule("0/10 * * * * ?"); trigger = TriggerBuilder.newTrigger().withIdentity("trigger1", TRIGGER_GROUP_NAME) .withSchedule(scheduleBuilder).build(); scheduler.scheduleJob(jobDetail, trigger); log.info("Quartz 创建了job:...:{}", jobDetail.getKey()); } else { log.info("job已存在:{}", trigger.getKey()); } TriggerKey triggerKey2 = TriggerKey.triggerKey("trigger2", TRIGGER_GROUP_NAME); CronTrigger trigger2 = (CronTrigger) scheduler.getTrigger(triggerKey2); if (null == trigger2) { Class clazz = QuartzJob2.class; JobDetail jobDetail2 = JobBuilder.newJob(clazz).withIdentity("job2", JOB_GROUP_NAME).build(); CronScheduleBuilder scheduleBuilder = CronScheduleBuilder.cronSchedule("0/15 * * * * ?"); trigger2 = TriggerBuilder.newTrigger().withIdentity("trigger2", TRIGGER_GROUP_NAME) .withSchedule(scheduleBuilder).build(); scheduler.scheduleJob(jobDetail2, trigger2); log.info("Quartz 创建了job:...:{}", jobDetail2.getKey()); } else { log.info("job已存在:{}", trigger2.getKey()); } scheduler.start(); } catch (Exception e) { log.info(e.getMessage()); } } }
5.启动定时器
启动两个Application,分别是示例中的DemoQuartzApplication和DemoQuartzApplication2,会发现,两个Job会分别在两个应用执行。
当手动停止一个应用的时候,另一个应用会自动接管所有任务并继续执行,如果任务太多,我们可以再开一台服务即可。实现了调度任务的高可用性和可扩展性
运行效果如图:
标签: 分布式任务, 集群任务, Quartz, String Boot, Task, 定时任务, 高可用, 高可扩展, 持久化, mysql