hive中的绣花模型_Hive Error: buildSupportsSnappy()Z

黑龙桑丶

于 2020-12-31 10:55:18 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

文章标签： hive中的绣花模型

本文链接：https://blog.csdn.net/weixin_30451613/article/details/112820739

当遇到Error: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z错误时，问题可能源于环境变量的配置。确保LD_LIBRARY_PATH和JAVA_LIBRARY_PATH包含libsnappy.so文件所在的目录，并在Hive、MapReduce和YARN的配置文件中检查相关环境变量设置。特别注意，mapreduce.admin.user.env配置对MapReduce任务访问native库的权限至关重要。配置更改后，需通过Cloudera Manager重启服务以使配置生效。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Error: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z

问题描述

报错的map , reduce 在log中均显示形如 java.lang.Exception: java.lang.UnsatisfiedLinkError:

Error: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z

的error信息, 而且连续三天出问题的机器均在210与195身上, 通过回顾近期的集群Datanode操作, 这两台机器均进行了reload操作。因此怀疑是在上线过程中有些环境变量被修改导致MapReduce在执行过程中无法access native libraries。

Ensure that LD_LIBRARY_PATH and JAVA_LIBRARY_PATH contains the native directory path having the libsnappy.so** files.

Ensure that LD_LIBRARY_PATH and JAVA_LIBRARY path have been exported in the SPARK environment(spark-env.sh).

然后在hive的配置目录中

core-site.xml

mapred-site.xml 查找要对应的 key value配置。

yarn.app.mapreduce.am.admin.user.env

LD_LIBRARY_PATH=$HADOOP_COMMON_HOME/lib/native:$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native:/mnt/disk1/cloudera/parcels/CDH/lib/hadoop/lib/