安装完成的 Hadoop 软件只能让 root 用户使用,要让 hadoop 用户能够 运行 Hadoop 软件,需要将目录/usr/local/src 的所有者改为 hadoop 用户。
时间: 2024-10-14 20:11:06 浏览: 173
安装完Hadoop软件后,默认权限设置可能会导致非-root用户无法访问和运行。为了让Hadoop用户(通常命名为hadoop)能够正常使用,确实需要改变一些文件和目录的所有权。首先,你需要确保"/usr/local/src"这个源码目录的所有权归属到hadoop用户,这可以通过以下命令来实现:
```bash
sudo chown -R hadoop:hadoop /usr/local/src
这里的“-R”表示递归更改当前目录及其所有子目录的所有权。
接下来,如果Hadoop安装路径下的其他目录如"/usr/local/hadoop"也需要hadoop用户能访问,可以类似地执行:
```bash
sudo chown -R hadoop:hadoop /usr/local/hadoop
```
然后,确认hadoop用户有执行Hadoop应用所需的权限,可以通过修改"/etc/sudoers"文件或者直接给hadoop用户增加相应的执行权限:
```bash
sudo chmod ug+x /usr/local/hadoop/bin/*
```
这样就允许hadoop用户在各自的权限范围内运行Hadoop应用程序了。
相关问题
+ exec /usr/local/jdk1.8.0_371/bin/java -Xmx20m -Dflume.root.logger=INFO,console -cp '/opt/flume/conf:/opt/flume/lib/*:/usr/local/hadoop/etc/hadoop:/usr/local/hadoop/share/hadoop/common/lib/*:/usr/local/hadoop/share/hadoop/common/*:/usr/local/hadoop/share/hadoop/hdfs:/usr/local/hadoop/share/hadoop/hdfs/lib/*:/usr/local/hadoop/share/hadoop/hdfs/*:/usr/local/hadoop/share/hadoop/mapreduce/*:/usr/local/hadoop/share/hadoop/yarn:/usr/local/hadoop/share/hadoop/yarn/lib/*:/usr/local/hadoop/share/hadoop/yarn/*:/lib/*' -Djava.library.path=:/usr/local/hadoop/lib/native org.apache.flume.node.Application --name a1 --conf-file conf/flume-conf.properties
这也是一段日志信息,它告诉你Flume启动时执行的Java命令。这个命令会启动一个Java进程,并将Flume的相关配置作为参数传递给它。在这个命令中,-cp参数指定了Flume运行时需要加载的类路径,包括Flume本身的库文件、Hadoop的库文件和其他依赖库文件。-D参数指定了一些Java系统属性,比如日志输出级别、名称等。由于Flume是基于Java开发的,因此这个Java命令对于理解Flume的启动过程非常重要。
卡在这不动huangjingying@spark059:~$ flume-ng agent -n a1 -c $FLUME_HOME/conf/ -f /home/huangjingying/dw059/flume/file_to_kafka_059.conf -Dflume.root.logger=info,console Info: Including Hadoop libraries found via (/usr/local/hadoop/bin/hadoop) for HDFS access Info: Including HBASE libraries found via (/usr/local/hbase/bin/hbase) for HBASE access Info: Including Hive libraries found via (/usr/local/hive) for Hive access + exec /usr/local/java/bin/java -Xmx20m -Dflume.root.logger=info,console -cp '/opt/flume/apache-flume-1.11.0-bin/conf:/opt/flume/apache-flume-1.11.0-bin/lib/*:/usr/local/hadoop/etc/hadoop:/usr/local/hadoop/share/hadoop/common/lib/*:/usr/local/hadoop/share/hadoop/common/*:/usr/local/hadoop/share/hadoop/hdfs:/usr/local/hadoop/share/hadoop/hdfs/lib/*:/usr/local/hadoop/share/hadoop/hdfs/*:/usr/local/hadoop/share/hadoop/mapreduce/*:/usr/local/hadoop/share/hadoop/yarn:/usr/local/hadoop/share/hadoop/yarn/lib/*:/usr/local/hadoop/share/hadoop/yarn/*:/usr/local/hbase/conf:/usr/local/java/lib/tools.jar:/usr/local/hbase:/usr/local/hbase/lib/shaded-clients/hbase-shaded-client-2.4.15.jar:/usr/local/hbase/lib/client-facing-thirdparty/audience-annotations-0.5.0.jar:/usr/local/hbase/lib/client-facing-thirdparty/commons-logging-1.2.jar:/usr/local/hbase/lib/client-facing-thirdparty/htrace-core4-4.2.0-incubating.jar:/usr/local/hbase/lib/client-facing-thirdparty/reload4j-1.2.22.jar:/usr/local/hbase/lib/client-facing-thirdparty/slf4j-api-1.7.33.jar:/usr/local/hbase/conf:/usr/local/hive/lib/*' -Djava.library.path=:/usr/local/hadoop/lib/native:/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib org.apache.flume.node.Application -n a1 -f /home/huangjingying/dw059/flume/file_to_kafka_059.conf SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/opt/flume/apache-flume-1.11.0-bin/lib/log4j-slf4j-impl-2.18.0.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-reload4j-
### 解决 Flume 启动时 SLF4J 多绑定冲突问题
当 Flume 配合 Hadoop 和 HBase 库一起使用时,可能会因为多个日志框架的实现被引入而导致 `SLF4J: Class path contains multiple SLF4J bindings` 的错误。这种情况下,可以采用以下方法来解决问题。
#### 方法一:通过 Maven Shade Plugin 排除重复依赖
Maven Shade Plugin 是一种有效的工具,用于重新打包项目并排除不必要的依赖项。对于 Flume 来说,可以通过配置该插件移除多余的 SLF4J 绑定库[^2]。
以下是具体的 Maven 配置示例:
```xml
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>3.2.4</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<!-- Exclude unnecessary files -->
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
<relocations>
<relocation>
<pattern>org.slf4j</pattern>
<shadedPattern>com.shaded.org.slf4j</shadedPattern>
</relocation>
</relocations>
</configuration>
</execution>
</executions>
</plugin>
```
此配置将重定位 `org.slf4j` 包至自定义路径(如 `com.shaded.org.slf4j`),从而避免与其他版本的日志实现发生冲突。
---
#### 方法二:手动调整类加载顺序
如果无法完全控制构建过程,则可以在运行时通过设置 Java 类路径的方式强制指定优先级较高的日志实现。例如,创建单独的文件夹存储所需的 SLF4J 实现,并将其置于其他依赖之前加载。
假设目标是让 `slf4j-log4j12` 成为主导实现,可执行如下操作:
1. 将所需 JAR 文件放入独立目录(如 `lib_slf4j/`);
2. 修改启动命令以显式声明类路径:
```bash
java -cp /path/to/lib_slf4j/*:/path/to/flume/lib/* org.apache.flume.node.Application ...
```
这种方式类似于处理 Jersey 依赖冲突的方法,能够有效隔离不同版本间的干扰。
---
#### 方法三:清理 `.m2/repository` 缓存
有时本地缓存中的旧版或损坏的依赖可能导致意外行为。建议先尝试清除相关条目后再重新安装必要组件:
```bash
mvn dependency:purge-local-repository
mvn clean install
```
此外,确认离线模式下的构建不会因网络原因遗漏某些更新后的资源[^1]。
---
#### 总结
综合来看,推荐优先考虑 **Shade Plugin** 方案,因为它不仅解决了当前问题,还增强了项目的兼容性和稳定性;而针对临时测试场景可以选择调整类加载器策略作为替代手段。
---
阅读全文
相关推荐

















