Airflow Trigger DAG with config

最新推荐文章于 2025-04-23 14:51:40 发布

清萝卜头

最新推荐文章于 2025-04-23 14:51:40 发布

阅读量3.4k

点赞数

CC 4.0 BY-SA版权

分类专栏：工具及软件文章标签： airflow DAG

本文链接：https://blog.csdn.net/xiaoQL520/article/details/109058962

本文介绍了在使用Airflow通过REST API触发DAG时遇到的Run ID冲突问题，即`manual__XXX already exists`异常。分析了异常产生的原因，主要是由于未指定或者执行时间默认精确到秒导致的。提出了三种解决方案：指定唯一的run_id、指定唯一的执行时间execution_date以及设置replace_microseconds为false以增加微秒精度。这些方法旨在确保触发DAG时的唯一性策略，减少重复异常的发生。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. rest api to trigger dag

POST /api/experimental/dags/<DAG_ID>/dag_runs #Creates a dag_run for a given dag id.

curl -X POST \
  http://localhost:8080/api/experimental/dags/<DAG_ID>/dag_runs \
  -H 'Cache-Control: no-cache' \
  -H 'Content-Type: application/json' \
  -d '{"conf":"{\"key\":\"value\"}"}'

2. 存在的问题：当连续trigger同一个dag,会发生Run id manual__XXX already exists 异常

error:b'400 BAD REQUEST: [{"error":"Run id manual__2020-10-13T08:53:57+00:00 already exists for dag id your_dag_name"}\n]'

异常产生的原因：

可以通过下面airflow的部分源码可以看出：trigger DAG后，run_id可以在trigger DAG时通过rest api的参数指定，如果没有指定，则会通过execution_date生成：run_id = "manual__{0}".format(execution_date.isoformat