如何在spark中删除hdfs的某个文件夹

原创于 2015-08-12 17:56:05 发布 · 1w 阅读

·

0

·

1 ·

CC 4.0 BY-SA版权

本文介绍如何在Hadoop中设置HDFS的输出路径，并提供了具体的代码示例来演示如何检查路径是否存在以及如何删除已存在的输出目录。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

直接上代码

val output = new Path("hdfs://master:9000/output/");
    val hdfs = org.apache.hadoop.fs.FileSystem.get(
      new java.net.URI("hdfs://master:9000"), new org.apache.hadoop.conf.Configuration())

    // 删除输出目录
    if (hdfs.exists(output)) hdfs.delete(output, true)