AirFlow高阶,两个启动时间不同DAG中的任务依赖关联demo

前言背景

笔者使用的是最新的airflow作为测试!版本为1.10.12,公司用的生产是比这个版本低了3个小版本,所以引入ExternalTaskMarker报错,如果有相似的小伙伴,可以自行搭建一个airflow,进行测试或者升级你的airflow。
有个调度需求,查询以前历史DAG发现,有一个DAG可以作为我新调度的前置,所以想看看DAG之间task如何关联,所以有了下面的Demo。
如果会科学上网,英语听力还不错的,可以移驾这里,这个大佬讲的会更到位!(点击我!!)

原理

DAG A和DAG B是两个不同py文件写的,我A中一个task是我B中一个task的依赖,只有当A执行完了,我的B才能执行,那么该如何做呢,那么就应该安排一个监工的,看着A中指定task是否执行成功,执行成功那就监工就可以撤了,让B中的那个任务开始执行。

Master.py

vim master.py

示例参考地址

from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago
from airflow.sensors.external_task_sensor import ExternalTaskMarker, ExternalTaskSensor

default_args={
   
   
        "owner": "airflow",
        "start_date"
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值