HDFS文件在线编辑的实现思路

最新推荐文章于 2024-10-28 16:32:56 发布

kill -9

最新推荐文章于 2024-10-28 16:32:56 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏： HDFS 文章标签： hadoop

本文链接：https://blog.csdn.net/wowSpark/article/details/105836726

HDFS 专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了如何使用HDFS的特定命令实现文件的在线编辑，包括上传、追加及覆盖操作，通过具体示例展示了HDFS文件编辑的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天思考到一个问题，HDFS文件怎么实现的在线编辑？

hdfs 有个 -put 命令，允许携带一些参数完成特殊的需求：

上传文件
hdfs dfs -put
在文件中追加
hdfs dfs -appendToFile
强制更新
hdfs dfs -put -f

首先上传了一个文件到HDFS上：hdfs dfs -put test1File /haddop/test1File

然后需要在这个文件中进行内容追加：hdfs dfs -appendToFile test2File /hadoop/test1File

最后需要重置hdfs上的文件内容：hdfs dfs -put -f test1File /hadoop/test1File

下面是测试的过程：

[hdfs@potter hdfs]$ cat test1File 
hello
[hdfs@potter hdfs]$ cat test2File 
Hey
[hdfs@potter hdfs]$ hdfs dfs -mkdir hdfs://cluster:8020/data/test11
[hdfs@potter hdfs]$ hdfs dfs -put test1File hdfs://cluster:8020/data/test11/
[hdfs@potter hdfs]$ hdfs dfs -cat hdfs://cluster:8020/data/test11/test1File
hello
[hdfs@potter hdfs]$ hdfs dfs -appendToFile test2File hdfs://cluster:8020/data/test11/test1File
[hdfs@potter hdfs]$ hdfs dfs -cat hdfs://cluster:8020/data/test11/test1File
hello
Hey
[hdfs@potter hdfs]$ hdfs dfs -put -f test1File hdfs://cluster:8020/data/test11/test1File
[hdfs@potter hdfs]$ hdfs dfs -cat hdfs://cluster:8020/data/test11/test1File
hello

最后，在线编辑文件的方式，可以通过覆盖命令实现：hdfs dfs -put -f <修改过的文件> <线上已经存在的文件>