java.io.FileNotFoundException: File /car does not exist. at org.apache.hadoop.hdfs.DistributedFileSystem$DirListingIterator.<init>(DistributedFileSystem.java:1264) at org.apache.hadoop.hdfs.DistributedFileSystem$DirListingIterator.<init>(DistributedFileSystem.java:1238) at org.apache.hadoop.hdfs.DistributedFileSystem$25.doCall(DistributedFileSystem.java:1183) at org.apache.hadoop.hdfs.DistributedFileSystem$25.doCall(DistributedFileSystem.java:1179) at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) at org.apache.hadoop.hdfs.DistributedFileSystem.listLocatedStatus(DistributedFileSystem.java:1197) at org.apache.hadoop.fs.FileSystem.listLocatedStatus(FileSystem.java:2131) at org.apache.hadoop.fs.FileSystem$5.<init>(FileSystem.java:2255) at org.apache.hadoop.fs.FileSystem.listFiles(FileSystem.java:2252) at cn.itcast.hdfsdemo.HDFS_CURD.testListFiles(HDFS_CURD.java:37)

<think>嗯，用户遇到了Hadoop中的FileNotFoundException，具体是关于DistributedFileSystem找不到文件的问题。我需要先分析可能的原因。首先，用户提供的引用提到了几个可能的情况，比如路径错误、HDFS服务问题、权限问题、JAR包缺失或版本不一致，以及缓存问题。 首先，路径错误是常见的，用户可能输入的路径不正确，或者用了本地路径而不是HDFS路径。比如，如果用户用了`hdfs://uat84:49100/usr/local/...`这样的路径，需要确认这个路径是否存在，或者端口是否正确。HDFS的默认端口通常是8020或者9000，可能用户这里用了非标准的端口，也可能主机名uat84是否正确解析。 然后，HDFS服务是否正常运行。如果NameNode或DataNode没有启动，或者网络问题导致无法访问，也会出现文件不存在的错误。用户需要检查HDFS的状态，使用`hdfs dfsadmin -report`看看节点是否正常。 权限问题的话，Hadoop有用户权限控制，如果当前执行用户没有访问该文件的权限，就会报错。用户可能需要使用`hdfs dfs -ls`命令查看文件的权限，或者用`hdfs dfs -chmod`修改权限。 另外，JAR包的问题，引用[3]提到可能缺少hadoop-hdfs的JAR包，或者版本不一致。比如项目依赖的Hadoop版本和集群运行的版本不一致，导致类找不到。这时候需要检查项目的依赖，确保所有相关JAR包都存在且版本匹配。如果是Maven项目，检查pom.xml中的依赖是否正确。 还有缓存问题，有时候HDFS客户端会缓存文件状态，如果文件刚刚上传，但客户端缓存认为不存在，可能需要等待或禁用缓存。可以通过配置`fs.hdfs.impl.disable.cache`为true来测试。 用户提供的异常信息中提到了`hadoop-common-2.2.0.jar`，可能这个JAR包在HDFS上的路径确实不存在，或者被误删了。需要确认路径是否正确，或者重新上传所需的JAR文件。 另外，Spark任务在YARN上运行时，可能无法正确访问HDFS路径，需要确保文件路径是全局可访问的，并且任务提交时指定的路径正确。引用[4]提到在本地运行正常，但在YARN上失败，可能是因为路径问题或资源未正确分发。 总结下来，处理步骤应该是：检查路径是否正确，确认HDFS服务正常，检查权限，验证依赖JAR包，处理缓存问题。如果用户按照这些步骤逐一排查，应该能找到问题所在。另外，用户可能需要查看完整的日志，以获取更多线索，比如具体的异常堆栈，是否有其他类找不到的错误，这有助于确定是否是依赖问题。</think>### 解决Hadoop分布式文件系统中FileNotFoundException异常问题 #### 一、错误原因分析 当出现`java.io.FileNotFoundException`且提示`DistributedFileSystem`相关错误时，通常由以下原因引起： 1. **路径错误** - 文件在HDFS中的路径未正确指定（如拼写错误、路径层级错误）[^1][^2]。 - 使用了本地文件系统路径（如`file:///`）而非HDFS路径（如`hdfs://`）[^4]。 2. **HDFS服务异常** - NameNode或DataNode未正常运行，导致文件元数据或数据块不可访问[^3]。 3. **权限问题** - 当前用户对目标文件/目录无读取权限。 4. **JAR包缺失或版本不一致** - 缺少`hadoop-hdfs`依赖包，或Hadoop客户端与集群版本不兼容[^4]。 5. **缓存问题** - HDFS客户端缓存未及时更新文件状态（如文件已删除但缓存未刷新）[^4]。 --- #### 二、解决方法 ##### 步骤1：验证文件路径 1. 使用`hdfs dfs -ls <hdfs_path>`检查路径是否存在： ```bash hdfs dfs -ls hdfs://uat84:49100/usr/local/bigdata/hbase/lib/hadoop-common-2.2.0.jar ``` - 若路径不存在，需重新上传文件： ```bash hdfs dfs -put local_path hdfs_path ``` - 确认HDFS协议头（`hdfs://`）和端口号（如默认`9000`）正确[^1]。 ##### 步骤2：检查HDFS服务状态 1. 通过以下命令确认服务健康状态： ```bash hdfs dfsadmin -report # 查看DataNode状态 hdfs haadmin -getServiceState nn1 # 检查NameNode是否活跃 ``` ##### 步骤3：处理权限问题 1. 修改文件权限（需HDFS超级用户权限）： ```bash hdfs dfs -chmod 755 /path/to/file # 赋予读写权限 hdfs dfs -chown user:group /path/to/file # 修改所属用户/组 ``` ##### 步骤4：检查依赖与版本一致性 1. 确认项目中包含完整的Hadoop依赖（以Maven为例）： ```xml <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop.version}</version> <!-- 需与集群版本一致 --> </dependency> ``` - 若手动添加JAR包，需包含`hadoop-hdfs-*.jar`和`hadoop-common-*.jar`[^3]。 ##### 步骤5：禁用客户端缓存（临时测试） 1. 在代码中设置配置参数： ```java Configuration conf = new Configuration(); conf.setBoolean("fs.hdfs.impl.disable.cache", true); // 禁用缓存 ``` --- #### 三、扩展优化建议 1. **日志排查** - 查看完整的HDFS客户端日志（如`hadoop-root-datanode-*.log`）定位具体错误。 2. **跨集群访问** - 若涉及多集群，检查HDFS Federation配置或ViewFS路由规则。 3. **文件上传完整性** - 使用`hdfs dfs -checksum`验证文件块完整性。 ---