如果要设置隔5分钟就会删除掉完成或者失败的任务。该如何设置?是在airflow的配置文件设置吗?如何设置
时间: 2025-02-16 13:16:50 浏览: 27
在Airflow中,如果想设置任务完成或失败后自动删除(也称为"清理"),默认情况下,任务实例在后台清理队列中的时间通常由`clear_remote_task_instances`定时器控制,该定时器的间隔可以根据需要在Airflow配置(`airflow.cfg`)进行调整。你需要找到`core`部分下的`schedule_clear`设置,它用于清除远程任务实例的频率。
要在`airflow.cfg`中设置,查找以下段落并修改`schedule_clear`值,单位通常是秒:
```ini
[core]
# 清理远程任务实例的周期(单位:秒)
schedule_clear = 60 * 5 # 默认是5分钟,即300秒
```
将上述值改为`300`,表示每5分钟清理一次已完成或失败的任务实例。
另外,如果你更喜欢通过环境变量来设置,可以使用`AIRFLOW__CORE__SCHEDULE_CLEAR`,只需将其添加到你的环境变量中,然后Airflow会读取这个值而不管配置文件。
请注意,频繁清理可能会对数据库性能造成影响,特别是当有大量历史任务实例时,所以要谨慎设定。清理时间应根据实际情况调整。
阅读全文
相关推荐


















