HDFS的基础练习--新建目录

本文详细介绍了如何在HDFS中创建目录、递归创建子目录、创建带数据文件、文件上传、查看及下载的操作步骤,包括使用hdfsfs-mkdir-p命令、数据文件操作和Hadoop命令。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

实验

1.在HDFS的/上创建10目录(data01~data10)

在浏览器上查看:

2.在HDFS/data03下递归创建/data05/data06/data07

递归创建,使用命令:

hdfs fs -mkdir -p /xx1/xx2/xx3

如:hdfs dfs -mkdir -p /dt03/date05/date06/date07

3.在/home/hadoop/software/自己名字命名目录下创建5分有数据的文件(mydata01-mydata05)文件内容自定义。

4.把mydata01上传到HDFS的/data01,把mydata02上传到HDFS的/data02,以此类推,把5份文件都上传到大数据平台的HDFS上。

上传使用put,如:hdfs dfs -put mydata01 /dt01

查看上传的数据里的数据:

hdfs dfs -cat /dt05/mydata05

(附加部分)

把数据取出来:hdfs dfs -get /dt01/data

查看数据内容:

将文件取下至zhang这个目录下:

hdfs dfs -get /dt01/data /root/zhang/ (注意中间有空格 )

5.把大数据平台HDFSI/data02/mydata02文件下载到/home/hadoop

查看到的文件内容如下:

将文件取下至/home/hadoop下:

在/home/hadoop下查看:

1. 启动全分布模式Hadoop集群,查看HDFS Web界面,练习HDFS Shell文件系统命令和系统管理命令。 执行命令启动HDFS和YARN Web界面: HDFS中的shell命令: 列出根目录下的文件 创建目录 将本地系统文件中的文本上传至HDFSHDFS中的指定文件下载到本地文件系统 查看HDFS中指定文件的读写权限等相关信息 创建目录 2. 在Hadoop集群主节点上搭建HDFS开发环境Eclipse。 下载jdk安装文件 配置相关环境变量 配置成功; 自动配置好jre 安装配置Maven 配置成功 配置Hadoop插件 连接成功: 3. 使用HDFS Java API编写HDFS文件操作程序,实现上传本地文件到HDFS的功能,采用本地执行和集群执行的两种执行方式测试,观察结果。 在eclipse中创建java项目,file,new,java project,创建项目hdfsexample,如图 单击项目,选择build path 添加jar包 在项目中新建包 编写java程序 在项目目录下中的src下的包中选择new,class 新建新建MAP/REDUCE项目和测试类 新 4. 使用HDFS Java API编写HDFS文件操作程序,实现查看上传文件在HDFS集群中位置的功能,采用本地执行和集群执行的两种执行方式测试,观察结果。 5. Sequence File 文件的读取和写入。使用随机数生成以(整数,字符串)为(key,Value)的文本文件,文件的大小内容任意,文件数量不少于100个; 在原有的基础上继续完成该任务,给出我具体的代码示例,严谨不易报错
03-29
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

墨染盛夏呀

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值