一.实验目的 （1）理解HDFS在Hadoop体系结构中的角色； （2）熟练使用HDFS操作常用的Shell命令； （3）熟悉HDFS操作常用的Java API。 二.实验平台 （1）操作系统：Ubuntu 16.04或以上版本。 （2）Hadoop版本：3.3.5。 （3）JDK版本：1.8。 （4）Java IDE：Eclipse。 三.实验步骤 1．利用shell命令与HDFS进行交互； （1）目录操作； （2）文件操作 2. 利用web界面管理HDFS； 3. 利用Java API与HDFS进行交互； （1）在Ubuntu中安装Eclipse； （2）使用Eclipse开发调试HDFS Java程序；  在Eclipse中创建项目；  为项目添加需要用到的JAR包；  编写Java应用程序； （1）目录操作； （2）文件操作 2. 利用web界面管理HDFS； 3. 利用Java API与HDFS进行交互； （1）在Ubuntu中安装Eclipse； （2）使用Eclipse开发调试HDFS Java程序；  在Eclipse中创建项目；  为项目添加需要用到的JAR包；  编写Java应用程序； 根据实验目的和实验平台 按照要求完成实验不走

<think>好的，我现在需要帮助用户解决关于HDFS在Hadoop中的作用以及如何通过不同方法操作HDFS的问题。用户的环境是Hadoop 3.3.5和JDK 1.8，在Ubuntu系统上，使用Shell命令、Web界面以及Java API（借助Eclipse）进行操作。首先，我需要整理HDFS的作用，然后分步骤说明每种操作方法。 首先，HDFS是Hadoop的核心组件，负责分布式存储。它具有高容错性，适合处理大规模数据，并且设计用于在廉价硬件上运行。这点需要明确，可能用户已经了解一些，但作为基础需要简要说明。 接下来是具体的操作步骤。用户提到了Shell命令、Web界面和Java API三种方式。我需要分别针对这三种方法给出操作指导。 对于Shell命令部分，用户需要知道常用的命令，比如创建目录、上传下载文件、查看内容、删除文件等。需要确保命令的正确性，特别是Hadoop 3.3.5的版本是否有变化。比如，hadoop fs和hdfs dfs命令在Hadoop 3中是否都可用，可能需要确认，但通常hdfs dfs是推荐的。 然后是Web界面，默认端口是9870，用户需要访问NameNode的Web UI，这里要检查Hadoop的配置是否正确，比如是否启用了Web界面，防火墙设置是否允许访问。可能需要提到core-site.xml和hdfs-site.xml中的配置参数，比如dfs.http.address。 Java API部分需要使用Eclipse，所以需要指导用户如何配置项目依赖，添加Hadoop的JAR文件。这里可能需要指出Hadoop的类路径，比如FileSystem和Path类的使用。注意用户的环境是JDK 1.8，需要确认Hadoop 3.3.5是否兼容，一般来说是的，但可能存在某些库的版本问题。示例代码需要正确，包括配置的加载，比如Configuration类的使用，以及正确关闭资源，比如fs.close()。 另外，用户引用了站内的两个引用，关于Java环境的安装和配置，所以在Java API部分可能需要提到确保JAVA_HOME正确设置，引用[^2]中的路径是否正确。如果用户按照之前的步骤安装JDK，那么JAVA_HOME应该是正确的，但需要提醒用户检查。 可能遇到的问题包括权限问题，比如Shell命令执行时是否需要特定用户，HDFS的目录权限设置。Web界面无法访问可能是端口问题或服务未启动。Java API连接HDFS时可能需要检查配置中的地址和端口是否正确，比如fs.defaultFS是否设置为hdfs://localhost:9000或其他正确地址。 需要确保所有步骤都经过验证，特别是Hadoop 3.3.5的具体配置可能和旧版本有所不同。例如，Hadoop 3默认的端口号是否有变化，比如NameNode的Web端口从50070改为了9870，这一点需要准确指出。 最后，生成相关问题，可能需要围绕HDFS的其他操作、优化、安全机制等展开，确保问题相关且有深度。</think>### HDFS在Hadoop中的作用与操作方法指南 #### 一、HDFS的核心作用 HDFS（Hadoop Distributed File System）是Hadoop的分布式文件系统，核心特性包括： - **高容错性**：通过数据块（默认128MB）多副本存储（默认3副本）保障数据安全[^1] - **横向扩展性**：支持PB级数据存储，可通过添加节点扩展容量 - **流式数据访问**：适合批处理场景，遵循"一次写入多次读取"模型 - **跨平台兼容**：可在廉价硬件集群上运行 #### 二、操作环境准备（基于Ubuntu） 1. **Java环境配置**（需引用站内配置） ```bash # 确认Java环境（需JDK 1.8） echo $JAVA_HOME # 应显示/lib/jvm/java-8-openjdk-amd64 [^2] ``` 2. **Hadoop基础配置** ```xml <!-- core-site.xml --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <!-- hdfs-site.xml --> <property> <name>dfs.replication</name> <value>1</value> <!-- 单机模式设为1 --> </property> ``` #### 三、HDFS操作三剑客 **1. Shell命令操作** ```bash # 1.1 目录操作 hdfs dfs -mkdir /user # 创建目录 hdfs dfs -ls / # 列出根目录 # 1.2 文件操作 hdfs dfs -put local.txt /user/ # 上传文件 hdfs dfs -cat /user/local.txt # 查看内容 hdfs dfs -get /user/local.txt # 下载文件 # 1.3 系统管理 hdfs dfsadmin -report # 查看存储报告 hdfs dfs -du -h /user # 查看目录大小 ``` **2. Web界面操作** - 访问`http://<namenode_ip>:9870` - 主要功能： - 实时查看存储使用率 - 浏览文件目录结构 - 检查DataNode存活状态 - 下载/预览文件（文本格式） **3. Java API操作（Eclipse）** ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; public class HDFSOperator { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); // 创建目录 Path dirPath = new Path("/user/test"); if(!fs.exists(dirPath)){ fs.mkdirs(dirPath); } // 上传文件 Path localPath = new Path("localfile.txt"); Path hdfsPath = new Path("/user/test/remote.txt"); fs.copyFromLocalFile(localPath, hdfsPath); fs.close(); } } ``` *项目配置要点：* 1. 添加Hadoop安装目录下`share/hadoop/common`、`share/hadoop/hdfs`的JAR包 2. 配置运行参数`-Dhadoop.home.dir=/path/to/hadoop` 3. 设置native库路径（如需要压缩支持） #### 四、关键问题排查 1. **权限问题**：使用`hdfs dfs -chmod`修改权限 2. **连接拒绝**：检查`hdfs-site.xml`中`dfs.namenode.rpc-address`配置 3. **Java API报错**：确认`core-site.xml`中配置的协议与端口（hdfs://协议需对应RPC端口）