头歌Educoder云计算与大数据——实验五 Java API分布式存储_第1关:利用shell把电商数据上传到hdfs-CSDN博客

本文链接：https://blog.csdn.net/weixin_44908105/article/details/121168934

这篇博客介绍了如何利用HDFS Shell命令和Java API将电商数据上传到HDFS。第一部分讲解了如何使用HDFS shell命令上传数据，强调了HDFS在大数据分析中的作用。第二部分则探讨了使用Java API进行上传的优点，并提供了编程要求和相关接口的使用示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第1关：利用shell把电商数据上传到HDFS

任务描述

原始电商数据都是存储在关系型数据库或 NoSQL 数据库上的，是面向OLTP(联机事务处理过程)的；数据都是面向业务的，而不是面向分析。因此数据比较复杂，表很多关联的数据是分散的，不利于统计分析；因此需要把数据从多个表里导出来、联合起来，找出分析所需要的数据项，然后把这些数据存入到 HDFS 中。

另一方面，因为数据量很大，可能上百 GB 甚至 TB，这些数据超过了单台服务器的内存容量甚至硬盘容量，而且如果都存到一台服务器上，那么读写起来花费时间也是很长的，如果把数据分摊到多个服务器上，那么原本的读写时间就能减倍，HDFS 就能做到这一点。

HDFS 是 Hadoop 中的分布式文件系统，可以高效的利用多台（数百、数千都可以）服务器的存储能力，因此把电商数据存储到 HDFS 中，可以借助强大的 Hadoop 来管理、分析海量的电商数据，以挖掘最大的潜在商业价值。

本关任务：使用 HDFS shell 命令把电商数据从本地上传到 HDFS 中。

相关知识

为了完成本关任务，你需要掌握：HDFS shell常见命令：

HDFS shell常见命令

如果你熟悉 linux 命令，你会发现 HDFS shell 命令类似 linux 的shell命令，在终端直接输入命令行来管理HDFS中的文件、文件夹。常用的HDFS命令如下：

hdfs dfs -ls / 查看目录/下的文件和文件夹；
hdfs dfs -mkdir /images 创建新文件夹/images；
hdfs dfs -rmdir /images 删除文件夹/images；
hdfs dfs -rm /citys.csv 删除文件citys.csv；
hdfs dfs -put data02.csv /dataset 上传本地文件data02.csv到HDFS的文件夹/dataset内；
hdfs dfs -copyFromLocal data02.csv /dataset 上传本地文件data02.csv到HDFS的文件夹/dataset内；
hdfs dfs -get /dataset/data02.csv data02_v2.csv 拷贝HDFS的/dataset/data02.csv到本地文件data02_v2.csv；
hdfs dfs -copyToLocal /dataset/data02.csv data02_v2.csv 拷贝HDFS的/dataset/data02.csv到本