hadoop单机

### Hadoop单机模式安装配置教程 #### 准备工作 确保已经完成VMware的安装配置以及获取了必要的Ubuntu镜像和Hadoop软件包[^1]。 #### 安装操作系统并准备环境 对于尚未安装的操作系统，需先按照常规流程安装英文版本的Ubuntu，并通过远程方式传送VMware Tools以增强虚拟机功能。这一步骤如果已完成，则可以直接进入后续环节。 #### 更新APT仓库列表 为了保证能够顺利安装所需工具，在终端执行命令`sudo apt-get update`来刷新系统的APT缓存数据。 #### Vim编辑器安装 虽然Ubuntu默认自带文本编辑能力，但是建议安装Vim作为更强大的文本处理工具，可以通过命令`sudo apt install vim`来进行安装操作。 #### SSH服务部署 接着要确保本机可以正常使用SSH协议连接自己或其他设备，因此需要安装OpenSSH-server组件，利用命令`sudo apt install openssh-server`实现这一点；之后还需验证SSH服务器状态是否正常运作，即输入`service ssh status`查看其运行状况。另外，为了让后续步骤更加便捷高效，还需要设置免密登录机制，具体做法是在本地创建一对公私钥对(`ssh-keygen`)并将公钥追加至授权键文件内(`cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys`)，最后赋予适当权限给该目录及其子项目(`chmod 600 ~/.ssh/* && chmod 700 ~/.ssh`)，从而实现在不提供密码的情况下也能顺利完成身份认证过程。 #### Java开发环境搭建 鉴于Hadoop依赖于JDK的支持，故而在此之前应该先行确认Java Development Kit (JDK) 是否已被正确安裝。如果没有的话，可通过如下指令完成这项任务:`sudo apt install default-jdk`。此外，还应检验当前使用的Java版本号，方法是调用`java -version`命令显示相关信息。 #### 下载与解压缩Hadoop发行版 前往指定网站下载适合自己的稳定版本[Hadoop](http://mirror.bit.edu.cn/apache/hadoop/common/)，例如选择了hadoop-2.7.5.tar.gz作为目标对象后将其放置在合适位置如`/opt`路径之下，借助tar命令解开压缩包：`tar -zxvf hadoop-2.7.5.tar.gz -C /opt/`[^3]。 #### 设置全局可用的环境变量 打开/etc/profile文件进行编辑，向其中添加两行定义语句用于指向新建立起来的HADOOP_HOME路径以及扩展PATH范围内的可执行程序集合： ```bash export HADOOP_HOME=/opt/hadoop-2.7.5 export PATH=$PATH:$HADOOP_HOME/bin ``` 保存更改后的文档再重新加载一次使之生效——只需简单地敲入`source /etc/profile`即可达成目的。 #### 修改核心配置文件 针对单节点场景而言，主要涉及以下几个方面的工作： - **调整内存分配策略**：编辑位于`$HADOOP_HOME/etc/hadoop/hadoop-env.sh`中的JAVA_OPTS参数值，以便更好地适应宿主机硬件条件； - **设定NameNode地址**：修改`core-site.xml`里的fs.defaultFS属性为`hdfs://localhost:9000`，指示客户端应用程序访问哪个名称节点实例； - **规定DataNode存储位置**：同样在此处找到对应的`<configuration>`标签内部增加一条记录指明临时文件夹的位置，比如`<property><name>hadoop.tmp.dir</name><value>/app/hadoop/tmp</value></property>`; - **启用MapReduce框架支持**：将原本名为mapred-site.xml.template复制成新的名字叫作mapred-site.xml，随后把mapreduce.framework.name设为yarn表示采用YARN资源管理器负责调度作业； - **激活ResourceManager监听端口**：最终转向yarn-site.xml部分，定位到yarn.resourcemanager.hostname字段填写实际物理机器名或IP地址，同时也要注意其他关联选项是否合理恰当[^2]。 以上就是关于如何构建一个简易却完整的Hadoop单机测试平台的大致介绍，希望这些指导能帮助读者快速入门大数据技术领域！