DolphinScheduler
DolphinScheduler安裝教程
Apache DolphinScheduler是一個分布式去中心化，易擴(kuò)展的可視化DAG工作流任務(wù)調(diào)度系統(tǒng)，致力于解決數(shù)據(jù)處理流程中錯綜復(fù)雜的依賴關(guān)系，使調(diào)度系統(tǒng)在數(shù)據(jù)處理流程中開箱即用。
DolphinScheduler特色
高可靠性
去中心化的多Master和多Worker, 自身支持HA功能, 采用任務(wù)隊列來避免過載，不會造成機(jī)器卡死
簡單易用
DAG監(jiān)控界面，所有流程定義都是可視化，通過拖拽任務(wù)定制DAG，通過API方式與第三方系統(tǒng)對接, 一鍵部署
豐富的使用場景
支持暫?；謴?fù)操作. 支持多租戶，更好的應(yīng)對大數(shù)據(jù)的使用場景. 支持更多的任務(wù)類型，如 spark, hive, mr, python, sub_process, shell
高擴(kuò)展性
支持自定義任務(wù)類型，調(diào)度器使用分布式調(diào)度，調(diào)度能力隨集群線性增長，Master和Worker支持動態(tài)上下線
DolphinScheduler功能介紹
1、以DAG圖的方式將Task按照任務(wù)的依賴關(guān)系關(guān)聯(lián)起來，可實時可視化監(jiān)控任務(wù)的運行狀態(tài)
2、支持豐富的任務(wù)類型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
3、支持工作流定時調(diào)度、依賴調(diào)度、手動調(diào)度、手動暫停/停止/恢復(fù)，同時支持失敗重試/告警、從指定節(jié)點恢復(fù)失敗、Kill任務(wù)等操作
4、支持工作流優(yōu)先級、任務(wù)優(yōu)先級及任務(wù)的故障轉(zhuǎn)移及任務(wù)超時告警/失敗
5、支持工作流全局參數(shù)及節(jié)點自定義參數(shù)設(shè)置
6、支持資源文件的在線上傳/下載，管理等，支持在線文件創(chuàng)建、編輯
7、支持任務(wù)日志在線查看及滾動、在線下載日志等
8、實現(xiàn)集群HA，通過Zookeeper實現(xiàn)Master集群和Worker集群去中心化
9、支持對Master/Worker cpu load，memory，cpu在線查看
10、支持工作流運行歷史樹形/甘特圖展示、支持任務(wù)狀態(tài)統(tǒng)計、流程狀態(tài)統(tǒng)計
11、支持補(bǔ)數(shù)
12、支持多租戶
13、支持國際化
14、還有更多等待伙伴們探索
下載地址
-
- 通用安全下載
-
- 移動安全下載
-
- 聯(lián)通安全下載
-
- 電信安全下載
-
- 移動網(wǎng)絡(luò)下載
-
- 聯(lián)通網(wǎng)絡(luò)下載
-
- 電信網(wǎng)絡(luò)下載
-
- 通用網(wǎng)絡(luò)下載
