spark 中org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/user/root/Employee_salary_second_half.csv at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:304) at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:244) at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:332) at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:208) at org.apache.spark.rdd.RDD.$anonfun$partitions$2(RDD.scala:294) at scala.Option.getOrElse(Option.scala:189) at org.apache.spark.rdd.RDD.partitions(RDD.scala:290) at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:49) at org.apache.spark.rdd.RDD.$anonfun$partitions$2(RDD.scala:294) at scala.Option.getOrElse(Option.scala:189) at org.apache.spark.rdd.RDD.partitions(RDD.scala:290) ... 47 elided Caused by: java.io.IOException: Input path does not exist: file:/user/root/Employee_salary_second_half.csv at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:278) ... 57 more

<think>嗯，用户遇到了Spark运行时出现的org.apache.hadoop.mapred.InvalidInputException错误，提示输入路径不存在Employee_salary_second_half.csv。首先，我需要回忆一下这个错误通常是什么原因引起的。根据经验，这种异常通常是因为指定的输入路径在HDFS上不存在，或者路径格式不正确，或者权限不足，或者文件类型不符合预期，比如是个目录而不是文件。 用户可能已经按照示例中的步骤检查了HDFS路径，比如用hadoop fs -ls命令查看，但可能路径拼写错误，或者文件确实不存在。比如，用户提供的引用中显示路径是/user/testBT/dbc/employ_test，下面有dept_no=11和dept_no=22两个目录，而问题中的文件是Employee_salary_second_half.csv，可能这个文件并没有被正确上传到预期的位置，或者路径大小写不一致，比如HDFS是区分大小写的，而用户可能在代码中用了不同的大小写。 接下来，我需要考虑解决方案的步骤。首先应该验证路径是否存在，使用hadoop fs -ls命令确认文件路径是否正确。然后检查路径是否在代码中被正确引用，比如是否漏掉了某个目录层级，或者文件名拼写错误。此外，权限问题也可能导致这个错误，即Spark作业的用户没有权限访问该路径，需要检查HDFS权限设置，可能需要用hadoop fs -chmod或-chown来调整。 另外，还要考虑路径是否包含特殊字符，比如空格或引号，需要用正确的转义方式处理。还有可能是文件类型的问题，比如路径指向的是一个目录而不是文件，这时候需要使用通配符或者指定具体的文件，或者使用递归读取目录的选项，如果框架支持的话。 如果路径确实存在且权限正确，可能需要检查Spark的配置，比如是否正确配置了HDFS的访问参数，比如NameNode的地址是否正确，或者是否在本地文件系统而不是HDFS上寻找路径。比如，路径前面是否缺少hdfs://前缀，导致Spark误认为是本地路径。 最后，还可以建议用户查看Spark作业的详细日志，可能会提供更多线索，比如具体的缺失路径或其他错误信息。同时，提供一些代码示例，比如如何正确指定HDFS路径，以及如何处理多个输入路径的情况，可能对用户有帮助。 总结起来，解决步骤应该是：验证路径存在性，检查权限，确认路径格式正确，调整代码中的路径引用，处理特殊字符或文件类型，检查Spark配置，查看详细日志。需要逐步排除这些可能性，帮助用户找到具体原因并解决。</think>### Spark InvalidInputException 输入路径不存在的解决方案 #### 1. 验证输入路径是否存在 **关键步骤**: - 使用HDFS命令检查文件路径是否存在： ```bash hadoop fs -ls /user/testBT/dbc/employ_test/Employee_salary_second_half.csv ``` 如果返回`No such file or directory`，说明路径错误或文件未生成[^1]。 - **路径格式注意**：HDFS路径需以`hdfs://namenode:port/`开头（如`hdfs://bzcrkmfx0ap1001:8020/user/testBT/...`），否则会被识别为本地路径。 #### 2. 检查路径权限 若路径存在但报错，可能是权限问题： ```bash hadoop fs -chmod 755 /user/testBT/dbc/employ_test hadoop fs -chown spark_user:hdfs /user/testBT/dbc/employ_test ``` #### 3. 代码层修复 **Spark读取文件时的两种方式**： ```scala // 方式1：直接读取（需确保路径精确） val df = spark.read.csv("hdfs://bzcrkmfx0ap1001:8020/user/testBT/dbc/employ_test/Employee_salary_second_half.csv") // 方式2：通配符匹配（适用于多文件） val df = spark.read.csv("hdfs://.../employ_test/*.csv") ``` #### 4. 处理特殊场景 - **分区目录问题**：若路径指向分区表目录（如示例中的`dept_no=11`），需使用`spark.read.parquet()`并指定基路径： ```scala spark.read.parquet("hdfs://.../employ_test").filter($"dept_no" === 22) ``` - **空格转义**：路径含空格时需用`%20`替换： ```scala val path = "hdfs://.../employ_test/Employee%20Salary.csv" ``` #### 5. 日志分析 查看Spark Driver日志中完整的错误堆栈，确认是否包含类似： ``` Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://.../Employee_salary_second_half.csv ``` ---