💠

• 1. 数据协作
  • 1.1. DolphinScheduler
  • 1.2. Argo
  • 1.3. Airflow
• 2. 其他
  • 2.1. Azkaban
  • 2.2. nifi

💠 2024-10-21 15:37:17

数据协作

What is Data Orchestration & Why It’s Essential for Analysis

DolphinScheduler

Github
Youtube

DolphinScheduler 是国内易观数据公司在2018年开源，2019年进入Apache项目的分布式调度工具,

思考：Job实例的执行交由K8S，避免Worker出现资源瓶颈，甚至去掉Worker只保留master，实例执行全部用K8S

DolphinScheduler | 任务类型

• conditions 可以 conditions 通过对上游节点执行成功/失败， 走向下游不同流程，例如全局参数来控制全量或增量执行不同的SQL

Argo

Github

云原生工作流引擎

Airflow

Github

强代码实现的工作流引擎

其他

Azkaban

Github

主要用于管理Hadoop工作流程

nifi

Github

处理和分发数据, 组件也只针对数据处理，功能比较单一