[root@hadoop ~]# spark-shell Error: A JNI error has occurred, please check your installation and try again Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.Class.privateGetMethodRecursive(Class.java:3048) at java.lang.Class.getMethod0(Class.java:3018) at java.lang.Class.getMethod(Class.java:1784) at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544) at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526) Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream at java.net.URLClassLoader.findClass(URLClassLoader.java:382) at java.lang.ClassLoader.loadClass(ClassLoader.java:418) at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:355) at java.lang.ClassLoader.loadClass(ClassLoader.java:351) ... 7 more

### 解决 Spark Shell 启动时因缺少 Hadoop 类导致的 NoClassDefFoundError 错误 当启动 `spark-shell` 时遇到 `NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream` 的错误，通常是因为 Spark 缺少必要的 Hadoop JAR 文件支持。以下是详细的解决方案： #### 方法一：手动添加 Hadoop JAR 到 Spark 的 Classpath 中 为了使 Spark 能够找到所需的 Hadoop 类文件，可以将 Hadoop 的所有依赖 JAR 添加到 Spark 的运行环境中。 1. **确认 Hadoop 安装路径** 需要确保本地已经安装并配置好了 Hadoop，并知道其安装路径。 2. **编辑 spark-env.sh 文件** 在 `$SPARK_HOME/conf/spark-env.sh` 文件中设置环境变量 `HADOOP_CONF_DIR` 和 `YARN_CONF_DIR` 来指向 Hadoop 的配置目录[^3]。 ```bash export HADOOP_CONF_DIR=/path/to/hadoop/etc/hadoop export YARN_CONF_DIR=/path/to/hadoop/etc/hadoop ``` 3. **复制 Hadoop JAR 至 Spark 的 jars 目录** 将 Hadoop 的所有 JAR 文件拷贝至 Spark 的 `jars` 目录下，或者通过 `--driver-class-path` 参数动态加载这些 JAR 文件。 ```bash cp /path/to/hadoop/share/hadoop/common/*.jar $SPARK_HOME/jars/ cp /path/to/hadoop/share/hadoop/mapreduce/lib/*.jar $SPARK_HOME/jars/ ``` --- #### 方法二：使用 Maven 或 SBT 构建项目时引入 Hadoop 依赖 如果是在构建项目过程中遇到该问题，则可以在项目的 `pom.xml` 或 `build.sbt` 文件中显式声明 Hadoop 的依赖项。 对于 Maven 用户，在 `pom.xml` 中加入以下内容： ```xml <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.x.x</version> <!-- 替换为实际使用的版本 --> </dependency> ``` 对于 SBT 用户，在 `build.sbt` 中添加如下代码： ```scala libraryDependencies += "org.apache.hadoop" % "hadoop-common" % "3.x.x" ``` --- #### 方法三：调整 Spark 的无 Hadoop 版本 (Spark Without Hadoop) 某些情况下可能使用的是不带 Hadoop 支持的 Spark 发行版 (`spark-without-hadoop`)。这种发行版不会自动包含任何 Hadoop 的库文件，因此需要额外处理。 1. 下载完整的 Hadoop 发行版并将其中的 JAR 文件放置于 Spark 的 `lib` 或 `jars` 目录下[^2]。 2. 如果仅需解决日志记录相关的问题，可尝试单独放入 `log4j-1.2.17.jar` 文件以满足部分基础需求。 --- #### 方法四：验证 Java 环境与 JNI 设置 有时此类问题是由于 JVM 加载原生库失败引起的。可以通过以下方式排查和修复： 1. **检查 JAVA_HOME 是否正确** 确保系统已正确定义 `JAVA_HOME` 并指向有效的 JDK 安装位置。 2. **启用调试模式查看具体异常堆栈信息** 使用 `-verbose:class` 参数重新启动 Spark Shell 查看具体的类加载过程。 ```bash ./bin/spark-shell --conf "spark.driver.extraJavaOptions=-verbose:class" ``` 3. **排除其他潜在冲突** 若仍有问题，可能是存在多个不同版本的 Hadoop 库相互干扰所致。建议清理不必要的旧版本 jar 包后再试一次。 --- ### 总结 上述方法涵盖了从简单操作（如增加 log4j Jar）到复杂场景下的全面应对策略。根据实际情况选用适合的方式即可有效解决问题。 ```python # 示例 Python 代码片段用于测试 Spark Context 初始化是否成功 from pyspark import SparkContext, SparkConf conf = SparkConf().setAppName("TestApp").setMaster("local[*]") sc = SparkContext(conf=conf) print(sc.version) sc.stop() ```