Exception in thread "main" java.lang.ClassNotFoundException: mapreduce.wordcount.wordcountJob at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:348) at org.apache.hadoop.util.RunJar.run(RunJar.java:311) at org.apache.hadoop.util.RunJar.main(RunJar.java:232)

### 解决Java中MapReduce WordCount程序的ClassNotFoundException问题 在运行Hadoop MapReduce WordCount程序时遇到`ClassNotFoundException`通常是由于类路径配置不正确或JAR包未正确提交到集群所致。以下是可能的原因及其解决方案： #### 1. **确认Main-Class属性** 如果自定义编写的WordCount JAR文件缺少`MANIFEST.MF`中的`Main-Class`声明，则可能导致无法找到入口类。可以通过以下命令重新打包并指定主类[^1]: ```bash jar cvf wordcount.jar -C path/to/classes . ``` 或者，在构建过程中显式设置`Main-Class`： ```bash jar cfme wordcount.jar Main-Class com.example.WordCountDriver -C path/to/classes . ``` #### 2. **确保所有依赖项被打入JAR** 当使用外部库（如Apache Commons）时，这些库不会自动包含在最终生成的JAR中。可以尝试将所有依赖打入单个fat-jar中。Maven用户可利用插件完成此操作[^4]： ```xml <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.2.4</version> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> </execution> </executions> </plugin> ``` 执行如下命令来创建包含全部依赖的JAR文件： ```bash mvn clean package shade:shade ``` #### 3. **验证Classpath环境变量** 即使JAR已上传至HDFS，但如果客户端本地缺失某些必要的依赖也可能引发异常。建议检查是否存在冲突版本的JAR文件覆盖默认安装目录下的内容[^3]。 另外，对于CDH发行版而言，默认情况下会加载内置支持的语言绑定工具链（例如Pipes），因此除非必要否则无需额外引入第三方实现。 #### 4. **检查Job Submission Command Syntax** 错误地指定了输入参数也会间接造成此类问题发生。比如下面的例子展示了如何调用预置好的例子应用[^2]： ```bash bin/hadoop jar \ ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-*.jar \ wordcount /input/path /output/path ``` 注意这里使用的具体样例名称以及其所在位置可能会随不同版本有所变化，请参照实际部署情况调整路径匹配规则。 --- ### 提供一段简单的测试代码用于排查问题 假设我们有一个标准结构化的项目布局，那么完整的驱动器逻辑应该像这样编写[^1]: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class WordCount { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(MapClass.class); // 自己实现的地图端处理单元 job.setCombinerClass(ReduceClass.class); // 可选优化步骤 job.setReducerClass(SumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 其中SumReducer部分已经在引用材料里给出[^1]. --- ###