常用HDFS操作

W.J.Z

于 2018-10-12 20:54:37 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： hdfs 常用操作字节流分布式系统

本文链接：https://blog.csdn.net/Leader_wang/article/details/83001819

本文介绍了HDFS的基本操作，包括上传和下载文件，查看文件信息，列出目录内容，以及文件和目录的创建、删除、移动等。通过shell命令，用户可以轻松追加内容、修改权限，并在需要时进行安全的删除和移动操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；

//假设  /user/hadoop/input路径已存在 如没存在 在命令行输入 hadoop fs -mkdir -p /user/hadoop/input
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://localhost:9000");
String localFileName = "/home/hadoop/myfile.txt";
String remoteFileName = "/user/hadoop/input/myfile.txt";
Path localFilePath = new Path(localFileName);
Path remoteFilePath = new Path(remoteFileName);
FileSystem fs = FileSystem.get(conf);
		
if(!fs.exists(remoteFilePath)) {   远程文件不存在
		System.out.println("文件未在远程服务器存在");
		fs.copyFromLocalFile(localFilePath, remoteFilePath);
		System.out.println("文件已上传到服务器");
}else {   //远程文件已存在
		System.out.println("文件已在远程服务器存在，请选择下一步动作：1 覆盖 ；2  添加到文件末尾 ");
		int c

最低0.47元/天解锁文章