hadoop jar /opt/program/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar words.txt hdfs://hadoop:8020/input hdfs://hadoop1:8020/output/wc Unknown program 'words.txt' chosen. Valid program names are: aggregatewordcount: An Aggregate based map/reduce program that counts the words in the input files. aggregatewordhist: An Aggregate based map/reduce program that computes the histogram of the words in the input files. bbp: A map/reduce program that uses Bailey-Borwein-Plouffe to compute exact digits of Pi. dbcount: An example job that count the pageview counts from a database. distbbp: A map/reduce program that uses a BBP-type formula to compute exact bits of Pi. grep: A map/reduce program that counts the matches of a regex in the input. join: A job that effects a join over sorted, equally partitioned datasets multifilewc: A job that counts words from several files. pentomino: A map/reduce tile laying program to find solutions to pentomino problems. pi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method. randomtextwriter: A map/reduce program that writes 10GB of random textual data per node. randomwriter: A map/reduce program that writes 10GB of random data per node. secondarysort: An example defining a secondary sort to the reduce. sort: A map/reduce program that sorts the data written by the random writer. sudoku: A sudoku solver. teragen: Generate data for the terasort terasort: Run the terasort teravalidate: Checking results of terasort wordcount: A map/reduce program that counts the words in the input files. wordmean: A map/reduce program that counts the average length of the words in the input files. wordmedian: A map/reduce program that counts the median length of the words in the input files. wordstandarddeviation: A map/reduce program that counts the standard deviation of the length of the words in the input files. [root@master hadoop]#

<think>好的，我现在需要解决用户提到的Hadoop命令中的“Unknown program 'words.txt'”错误。用户使用的是Hadoop 3.1.3版本，并且在运行MapReduce示例时遇到了这个问题。首先，我需要理解这个错误的具体原因以及可能的解决方法。 首先，用户提到的错误信息是“Unknown program 'words.txt'”，这可能出现在执行hadoop jar命令时。根据用户提供的引用，特别是引用[1]，正确的命令应该是将输入和输出路径作为参数传递，例如： hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output 这里，“wordcount”是程序名，后面跟的是输入路径和输出路径。因此，如果用户在命令中误将输入文件（如words.txt）作为程序名来调用，就会出现“Unknown program”错误。例如，如果用户错误地写成： hadoop jar examples.jar words.txt input output Hadoop会尝试将“words.txt”当作程序名来执行，但示例JAR中并没有这个程序，因此报错。 接下来，我需要验证这种可能性。用户可能在执行命令时将输入文件的名字放在了程序名的位置。正确的做法是确保程序名是示例JAR中存在的，如wordcount、grep等。因此，用户需要检查他们的命令结构是否正确，特别是确保第一个参数是有效的MapReduce程序名，而不是输入文件名。 另外，用户还需要确认输入文件是否已经正确上传到HDFS的指定路径。例如，如果用户打算对words.txt文件进行词频统计，需要先将words.txt上传到HDFS的输入目录（如/input），然后使用正确的命令： hadoop jar examples.jar wordcount /input/words.txt /output 或者，如果输入目录中已经包含words.txt，可以直接指定输入目录为/input。如果用户没有上传文件到HDFS，直接使用本地文件路径，这也会导致错误，因为Hadoop MapReduce作业需要从HDFS读取输入数据。 此外，用户可能混淆了本地文件系统和HDFS路径。Hadoop命令中的路径默认是HDFS路径，除非特别指定为本地文件系统（使用file:///前缀）。因此，用户需要确保输入文件已经通过hdfs dfs -put命令上传到HDFS中，并且在命令中使用HDFS路径。 另一个可能性是用户使用的示例JAR文件中确实不包含所需的程序名。例如，某些Hadoop版本可能示例程序名称不同，或者用户可能错误地拼写了程序名。需要检查hadoop-mapreduce-examples-3.1.3.jar中包含的程序列表，可以使用以下命令列出所有可用的程序： hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar 运行这个命令而不带参数通常会列出所有可用的示例程序，用户应确认wordcount或其他所需程序是否存在其中。 此外，用户可能遇到了环境变量配置的问题，例如HADOOP_HOME未正确设置，导致无法找到示例JAR文件。需要确保HADOOP_HOME环境变量指向正确的安装目录，并且在命令中使用正确的路径。 还要考虑Hadoop集群的状态是否正常。如果集群未正确启动，或者资源管理器、节点管理器等服务未运行，MapReduce作业可能无法启动，导致其他错误。但根据用户提供的错误信息，更可能的是命令结构的问题，而不是集群状态。 另外，引用[3]中提到的一个错误是找不到主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster，这可能与Hadoop的类路径配置有关，但用户当前的错误是不同的，因此暂时不需要考虑这个方面，除非用户在解决当前问题后遇到其他错误。 总结可能的原因： 1. 命令结构错误，将输入文件名误作为程序名。 2. 输入文件未正确上传到HDFS。 3. 使用了本地文件路径而非HDFS路径。 4. 示例JAR中不存在指定的程序名。 5. 环境变量配置错误导致无法找到JAR文件。 针对这些可能性，我需要逐步指导用户检查命令结构、文件路径、HDFS中的文件存在性以及示例程序的可用性。同时，提供正确的命令示例和操作步骤，确保用户能够正确执行MapReduce作业。</think>### 解决Hadoop命令中“Unknown program 'words.txt'”错误的方法 #### **错误原因分析** 该错误通常是由于**命令结构错误**导致的。Hadoop的`hadoop jar`命令要求第一个参数是**MapReduce示例程序名称**（如`wordcount`），而用户可能误将输入文件名`words.txt`作为程序名传递。例如： ```bash # 错误示例：将words.txt作为程序名 hadoop jar hadoop-mapreduce-examples-3.1.3.jar words.txt /input /output ``` 由于示例JAR中不存在名为`words.txt`的程序，因此会报错`Unknown program`[^1][^2]。 --- #### **解决方法** ##### 步骤1：检查命令结构 确保命令格式为： ```bash hadoop jar <示例JAR路径> <程序名> <输入路径> <输出路径> ``` 例如，使用`wordcount`程序统计词频： ```bash hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output ``` - **程序名**必须是示例JAR支持的类型（如`wordcount`、`grep`等）。 - **输入/输出路径**应为HDFS路径（如`/input`），而非本地文件路径。 ##### 步骤2：验证输入文件已上传到HDFS 1. 将本地文件`words.txt`上传到HDFS： ```bash hdfs dfs -put words.txt /input ``` 2. 检查HDFS中的文件： ```bash hdfs dfs -ls /input ``` ##### 步骤3：确认示例程序名称 通过以下命令查看所有支持的示例程序： ```bash hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar ``` 输出应包含类似内容： ``` An example program must be given as the first argument. Valid program names are: aggregatewordcount: 统计词频 wordcount: 标准词频统计 ... ``` ##### 步骤4：检查环境变量配置 确保`HADOOP_HOME`已正确设置： ```bash echo $HADOOP_HOME # 应输出Hadoop安装路径，例如/usr/local/hadoop ``` --- #### **完整操作示例** ```bash # 1. 上传文件到HDFS hdfs dfs -mkdir /input hdfs dfs -put words.txt /input # 2. 运行wordcount程序 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output # 3. 查看结果 hdfs dfs -cat /output/part-r-00000 ``` --- #### **可能关联问题** 1. **如果报错“找不到主类”**（如`MRAppMaster`），需检查`HADOOP_CLASSPATH`是否包含`$HADOOP_HOME/share/hadoop/tools/lib/*`[^3]。 2. 若集群未启动，需先执行： ```bash start-dfs.sh && start-yarn.sh ``` ---