spark java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSON

### Spark 运行时出现 `java.lang.NoClassDefFoundError: com/alibaba/fast/JSON` 的解决方案 当在 Spark 中遇到 `java.lang.NoClassDefFoundError: com/alibaba/fast/JSON` 错误时，通常是因为缺少 FastJSON 库或者其版本不兼容。以下是可能的原因以及对应的解决方法： #### 1. **确认 Maven 或 Gradle 配置** 如果项目使用的是 Maven 构建工具，则需要确保 POM 文件中有正确的依赖项配置。FastJSON 是阿里巴巴开源的一个高性能 JSON 处理库，因此需要将其显式声明到项目的构建文件中。 ```xml <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.83</version> <!-- 建议升级至最新稳定版 --> <scope>compile</scope> <!-- 确保该范围为 compile 而不是 provided --> </dependency> ``` 这里需要注意 `<scope>` 参数的作用。如果设置为 `provided`，则不会将此依赖打包进最终的 JAR 文件中；而设置为 `compile` 则会包含它[^3]。 #### 2. **检查 Classpath 是否正确加载** 即使已经添加了必要的依赖，仍然可能出现类无法找到的情况。这可能是由于提交作业时未指定外部 jar 包路径所致。可以通过以下方式传递额外的 jars 给 Spark Driver 和 Executor： ```bash spark-submit --class your.main.class \ --master yarn \ --deploy-mode cluster \ --jars /path/to/fastjson.jar,/other/libs/*.jar \ /path/to/application.jar args... ``` 上述命令中的 `--jars` 参数用于告知 Spark 将哪些附加 jar 添加到 classpath 上下文中[^1]。 #### 3. **验证本地与远程环境一致性** 有时开发人员会在 IDE (如 Eclipse) 下测试通过后导出独立运行的应用程序却遭遇失败。这是因为某些插件可能会自动处理部分依赖关系而在实际部署时不生效。建议重新审视整个流程并尝试手动组装 fat-jar（即 Uber Jar），其中包含了所有必需组件及其子模块。 可以利用 Shade Plugin 来完成这一目标: ```xml <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <executions> <execution> <phase>package</phase> <goals><goal>shade</goal></goals> </execution> </executions> </plugin> </plugins> </build> ``` 执行 mvn clean package 后即可获得完整的可分发二进制文件[^4]。 #### 4. **更换可靠的镜像源下载依赖** 网络条件不佳可能导致获取不到完整无损的目标构件体从而引发潜在隐患。推荐切换成稳定性较高的阿里云中央仓库作为默认代理地址之一来规避此类风险。 编辑 ~/.m2/settings.xml 并追加如下片段： ```xml <mirrors> <mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexus aliyun</name> <url>https://maven.aliyun.com/repository/public</url> </mirror> </mirrors> ``` 这样能够有效减少因资源不可达所造成的麻烦。 --- ###