【DolphinScheduler任务调度系统 v1.3.4】分布式易扩展可视化DAG工作流任务调度系统

源码名称:【DolphinScheduler任务调度系统 v1.3.4】分布式易扩展可视化DAG工作流任务调度系统
源码大小:3.5MB
开发语言:PHP+Mysql
操作系统:Windows,Linux
源码简介与安装说明:

Apache DolphinScheduler(incubator,原EasyScheduler)是一个大数据分布式工作流任务调度系统,主要解决大数据研发过程中ETL处理错综复杂的依赖关系,而不能直观监控任务健康状态等问题。DolphinScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。

设计特点:
一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

其主要目标如下:
1、以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
2、支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
4、支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
5、支持工作流全局参数及节点自定义参数设置
6、支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
7、支持任务日志在线查看及滚动、在线下载日志等
8、实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
9、支持对Master/Worker cpu load,memory,cpu在线查看
10、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
11、支持补数
12、支持多租户
13、支持国际化
14、还有更多等待伙伴们探索

牧马人源码网测试截图:

 

源码分享申明:
本站所有源码包括此源码,仅用于兴趣爱好学习和代码框架研究,严禁用于商业和非法用途
下载此源码后的所有操作与本站无关
低价分享源码不免费提供技术服务
下载即视为同意此条款
另:本站不接任何违法违规业务,
同时本站愿意为从事正规业务老板/站长提供长期技术支持,
服务优质价格低廉

【温馨提示】:

【1】本站所有源码仅用于兴趣研究和学习,严禁用于商业或非法用途;

【2】本站资源仅供学习和交流使用,版权归资源原作者所有,请在下载后24小时之内自觉删除;

【3】本站发布的内容若侵犯到您的权益,请邮件联系 287167477@qq.com客服邮箱 删除,我们将及时处理;

【4】若作商业用途,请购买正版,由于未及时购买和付费发生的侵权行为,与本站无关;

【5】 所有源码默认是没有 安装教程 的,如果里面有那也是随机的。


牧码人源码网 » 【DolphinScheduler任务调度系统 v1.3.4】分布式易扩展可视化DAG工作流任务调度系统

为广大站长和中小企业老板提供最优质的资源集合

立即查看 了解详情