Hadoop cloudera CDH3B4

duming115

于 2011-03-10 11:36:28 发布

阅读量138

点赞数

CC 4.0 BY-SA版权

分类专栏：分布式存储和计算文章标签： Hadoop log4j Apache Access

本文链接：https://blog.csdn.net/duming115/article/details/83853161

分布式存储和计算专栏收录该内容

3 篇文章

订阅专栏

本文介绍了解决Hadoop客户端命令日志输出问题的方法及调整Hive日志权限的具体步骤。针对Hadoop日志未按预期输出的情况，通过配置log4j.properties文件来调整日志级别；对于Hive运行时的权限问题，则通过修正HDFS上目录的权限设置来解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 问题: hadoop的客户端运行hadoop命令,但是没有在指定的日志文件中输出,指定的日志文件也不存在目录下.
解决: hadoop的日志输出由conf/log4j.properties控制,log4j.properties文件中指定hadoop.log.dir=. ,运行hadoop时,会由conf/hadoop-env.sh中指定的export HADOOP_LOG_DIR 指定到特定目录下输出,默认为hadoop的logs目录.
如果log4j.logger的级别很高,不生成输出的日志信息,那么日志文件也就不会生成(resin的logs/access.log也是),加入log4j.logger.org.apache.hadoop=DEBUG,DRFA 使hadoop 的log级别调高就可以了.

2011.04.22
1. 运行hive过程中出现 org.apache.hadoop.fs.permission.FsPermission$2.<init>
错误,通过查看hive log原因是2011-04-22 10:41:49,244 INFO mapreduce.JobSubmissionFiles (JobSubmissionFiles.java:getStagingDir(120)) - Permissions on staging directory hdfs://hadoop-m:9000/disk3/CDH3B4/hadoop/tmp/mapred/staging/hadoop/.staging are incorrect: rwxrwxrwx. Fixing permissions to correct value rwx------
把权限修改正确后,运行正常.