大数据应用错题

最新推荐文章于 2023-07-09 19:00:19 发布

Elixnagnip.

最新推荐文章于 2023-07-09 19:00:19 发布

阅读量210

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/crush506/article/details/118198128

本文档详细记录了在Linux环境中搭建Hadoop集群时遇到的问题及解决方案，包括Master和Slave节点的区分，hostname冲突检查，mapred-site.xml配置，环境变量设置，配置文件修正，以及Hadoop命令缺失等问题的处理。通过这些步骤，可以确保Hadoop集群的正确安装和运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.集群搭建过程中需要仔细区分Master和Slave节点，将Master改为hadoop01,slave改为hadoop02和hadoop03
2.出现Hostname为hadoop01错误
在这里插入图片描述
这需要查看每个节点的hostname有没有重复，如果没有则查看文件slaves，文件slaves中添加的是slave节点，即hadoop02和hadoop03

正确处理后

3.

Hadoop01运行结果成功hadoop0203错误，发现未正确修改文件 mapred-site.xml （可能需要先重命名，默认文件名为 mapred-site.xml.template）
在这里插入图片描述
先在 /usr/local/hadoop/etc/hadoop路径中找到该文件进行重命名再进行文件配置

4.正确配置分布式环境文件
修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件
在这里插入图片描述

cd /usr/local/hadoop/etc/hadoop
vim slaves

5.提示错误“hadoop：未找到命令”
问题的原因是未将hadoop命令添加至执行路径
在Linux环境下输入：

export
PATH=$PATH：/usr/local/hadoop/bin

检验Hadoop命令是否能用输入：

hadoop version

没有出现“hadoop：未找到命令”则配置成功
6.Hadoop未能正确安装,终端出错

sudo apt install wget
cd~
wget yfyoss.oss.aliyuncs.com/vb.tar.bz2
tar -xzvf vb.tar.bz2
cd VBox_GAs_6.1.121
sudo ./autorun.sh

出现perss return to close this window
在之前的终端或者新终端输入命令 reboot

7.提示“未找到‘hopt’命令”，发现没有配置好环境变量
在这里插入图片描述
需要将环境变量配置成

8.linux安装时注意执行完每一条命令要验证命令是否成功，软件源source.list，Java环境变量配置要联系上下文，配置的变量和目录对应，没有相应软件要用

sudo apt-get install XXX