Dcron:基于redis与一致性哈希算法的分布式定时任务库

背景

最近项目中的定时任务越来越多,为了防止任务重复执行曾经使用过的方案:

  • 只启用了一个节点。
  • 固定循环间隔,使用分布式事务锁。
  • 部署一套分布式任务调度系统。

方案一 没有容错机制,当单个节点宕机,所有定时任务都无法正常执行。

方案二 不能跟cron一样灵活设定时间,比如需要设定每天1点执行就必须借助数据库或者其他存储手段去轮询,非常低效。

方案三 可以解决问题,但是很多场景下需要开发完成后再去单独配置,如果任务较少时反而增加了系统维护成本。

在对比了市面上主流的分布式定时任务库后,发现要不就是过重,要不就是使用复杂或者不能使用golang无缝接入.

要解决的痛点包括:

  • 高一致可靠性,保证任务不能被多个节点重复执行,在单个节点宕机时能迅速转移任务至正常节点。
  • 能复用现在架构内的存储系统,redis/mysql/memcache等。
  • 使用足够简单,屏蔽内部细节,不需要额外部署就可以跟使用本地cron库一样直接引入使用。

原理

将所有节点存入公共存储(目前基本所有项目都使用redis作为缓存库,所以首先开发了redis支持)后使用一致性hash算法来选举出执行单个任务的节点来保证唯一性,所有节点都按照写入的cron预执行,在任务执行入口处根据一致性hash算法来判断该任务是否应该由当前节点执行。

存储器定一个公共接口,可以通过实现接口来为dcron提供更多的存储支持,比如etcd,zk等。

流程图

Dcron流程图

特性

  • 负载均衡:根据任务数据和节点数据均衡分发任务。
  • 无缝扩容:如果任务节点负载过大,直接启动新的服务器后部分任务会自动迁移至新服务实现无缝扩容。
  • 故障转移:单个节点故障,10s后会自动将任务自动转移至其他正常节点。
  • 任务唯一:同一个服务内同一个任务只会启动单个运行实例,不会重复执行。
  • 自定义存储:通过实现driver接口来增加节点数据存储方式。

使用说明

1.创建redisDriver实例,指定服务名并初始化dcron。服务名为执行相同任务的单元。

  drv, _ := redis.NewDriver(&redis.Conf{
  		Host: "127.0.0.1",
  		Port: 6379,
  })
  dcron := NewDcron("server1", drv)

2.使用cron语法添加任务,需要指定任务名。任务名作为任务的唯一标识,必须保证唯一。

    dcron.AddFunc("test1","*/3 * * * *",func(){
		fmt.Println("执行 test1 任务",time.Now().Format("15:04:05"))
	})

3.开始任务。

dcron.Start()

关于服务名的说明

服务名只是为了定义相同一组任务,节点在启动时会产生一个uuid,然后绑定到这个服务内,不会存在多个节点使用同一个服务明出现冲突的问题。

比如有个服务叫【课堂服务】里面包含了 【上课】【下课】 等各类定时任务,那么就可以有n个不同的服务节点(可以在同一台或者不同机器上),服务都叫课堂服务。

其他

为了无缝将dcron接入现有的服务内,所以dcron启动后默认会启动一个协程来执行定时任务,并不会阻塞主进程。 所以如果使用dcron和http服务在一起时不用特殊处理;但如果程序内只有该定时任务,需要阻塞主进程以防止主线程直接退出。

目前Dcron已经开发完成并开源: https://github.com/LibiChai/dcron

欢迎star,fork。。


文档导航