HDFS简介与常用API

最新推荐文章于 2022-10-26 18:31:13 发布

正橙橙橙橙

最新推荐文章于 2022-10-26 18:31:13 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop入门文章标签： hadoop hdfs java

本文链接：https://blog.csdn.net/Chengzheng119/article/details/121009941

Hadoop入门专栏收录该内容

13 篇文章

订阅专栏

本文介绍了HDFS的基本概念，包括其作为分布式文件系统的特性、优点与缺点。详细阐述了HDFS的架构，如NameNode、DataNode的角色，以及客户端如何与HDFS交互。还提到了HDFS的文件块大小选择策略，并简要概述了HDFS的Shell操作和API使用方法，包括在Windows环境下配置Hadoop和开发HDFS应用的基本步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HDFS简介

HDFS是一个文件系统（Hadoop Document File System），通过目录树来定位文件。其次，它是分布式的。

HDFS适用于：一次写入，多次读出的场景。

HDFS通过多种方式，实现了高容错性、可靠性、适合处理大数据

HDFS缺点：

1.不适合低延时的数据访问。

2.无法高效的对大量小文件进行存储

（占用过多NameNode的内存用于存储文件目录和块信息）

3.不支持并发写入，文件随机修改。（比较适用Append，追加数据）

HDFS架构：

NameNode（nn）:作为主管。

管理HDFS的名称空间
配置副本策略
管理数据块的映射
处理客户端请求

DataNode（dn）：作为小弟

储存实际的数据块
进行数据块的读写操作

Client：客户端

切分文件，文件上传到HDFS时，Client将其切分成Block，再进行上传。
与NN交互，获取文件的位置信息。
与DN交互，读写数据
管理HDFS
访问HDFS，对其CRUD

SecondaryNameNode（2nn）：秘书+备用但是2nn并不是时时刻刻保持着备用状态，当nn宕机时，2nn不是立即替换NameNode进行服务的。

辅助nn，分担工作了，定期合并Fsimage和Edits
辅助恢复nn（当nn宕机）

HDFS文件块大小。在Hadoop2.x/3.x中默认是128M。那么为什么？

因为在集群中，寻址的时间大概是10ms，而当寻址时间是传输时间的1%时，状态最佳。

此时传输数据的时间大约为1s。而目前硬盘的刷新速度，若是固态，我们可以把block设置为256M，若是一般硬盘，则为128M。（1s刷一个block，即设置block的大小取决于硬盘的传输速度）。

如果HDFS设置的block大小太小，会提高寻址时间。若太大，处理该块数据会太慢。

HDFS的Shell操作：

hadoop fs 具体命令 hdfs dfs 具体命令

[root@Hadoop-1 hadoop-3.1.3]$ bin/hadoop fs

        [-appendToFile <localsrc> ... <dst>]          //追加文件信息

        [-cat [-ignoreCrc] <src> ...]         //忽略crc认证查看文件信息

        [-chgrp [-R] GROUP PATH...]                                                            //换group

        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]     同Linux命令

        [-chown [-R] [OWNER][:[GROUP]] PATH...]

        [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]       //上传文件（从本地）

        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]    //下载

        [-count [-q] <path> ...]

        [-cp [-f] [-p] <src> ... <dst>]

        [-df [-h] [<path> ...]]

        [-du [-s] [-h] <path> ...]                         //统计文件夹大小

        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]       //下载

        [-getmerge [-nl] <src> <localdst>]

        [-help [cmd ...]]

        [-ls [-d] [-h] [-R] [<path> ...]]

        [-mkdir [-p] <path> ...]

        [-moveFromLocal <localsrc> ... <dst>]              //移动（删除源文件）上传

        [-moveToLocal <src> <localdst>]                   //移动下载

        [-mv <src> ... <dst>]                               //移动

        [-put [-f] [-p] <localsrc> ... <dst>]                  //上传

        [-rm [-f] [-r|-R] [-skipTrash] <src> ...]

        [-rmdir [--ignore-fail-on-non-empty] <dir> ...]

<acl_spec> <path>]]

        [-setrep [-R] [-w] <rep> <path> ...]         //设置副本数量

        [-stat [format] <path> ...]                      //查看状态

        [-tail [-f] <file>]                        //查看文件的末尾1kb数据

HDFS的API操作。

在Windows中配置Hadoop的环境变量。HADOOP_HOME以及Path

创建一个Maven工程（若不会使用Maven就直接用默认设置即可）

在pom.xml中导入相应的依赖坐标和日志添加。（类似需要的jar包，需联网下载）

<dependencies>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-client</artifactId>

        <version>3.1.3</version>

    </dependency>

    <dependency>

        <groupId>junit</groupId>

        <artifactId>junit</artifactId>

        <version>4.12</version>

    </dependency>

    <dependency>

        <groupId>org.slf4j</groupId>

        <artifactId>slf4j-log4j12</artifactId>

        <version>1.7.30</version>

    </dependency>

</dependencies>

在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

之后便可以使用HDFS的API了。新建包，创建我们的Client类。

实现客户端代码常用套路 1.获取一个客户端对象 2.执行相关的操作指令 3.关闭 * HDFS 和Zookeeper都类似。

下面展示常用的一些api

package com.zc.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.yarn.webapp.hamlet2.Hamlet;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.Arrays;

/**
 * @program:HDFS_1
 * @descripton:客户端代码常用套路 1.获取一个客户端对象 2.执行相关的操作指令 3.关闭
 * HDFS 和Zookeeper都类似
 * @author:ZhengCheng
 * @create:2021/10/27-16:30
 *
 **/
public class HdfsClient {
    private FileSystem fs;

    @Before
    public void init() throws IOException, InterruptedException, URISyntaxException {
        //连接的集群nn地址
        URI uri = new URI("hdfs://Hadoop-1:8020");//8020是内部通讯端口，9870是用户访问端口
        //创建一个配置文件
        Configuration configuration = new Configuration();
       // configuration.set("dfs.replication","2");//最高优先级
        String user ="root";
        //获取客户端对象
        fs = FileSystem.get(uri, configuration,user);
    }
    @After
    public void close() throws IOException {
        fs.close();
    }

    @Test
    public void testmkdir() throws URISyntaxException, IOException, InterruptedException {
        fs.mkdirs(new Path("/xiyou/huaguoshan"));
    }
    /*
    参数优先级排序：（1）客户端代码中设置的值 >
    （2）ClassPath下的用户自定义配置文件 >
    （3）然后是服务器的自定义配置（xxx-site.xml）>
    （4）服务器的默认配置（xxx-default.xml）
     */
    @Test//上传数据
    public void testPut() throws IOException {
        //参数解读：是否删除原数据，Override（覆盖？），原路径，目标路径
        fs.copyFromLocalFile(false ,false,new Path("E:\\HDFS\\sunwuk.txt"),new Path("/xiyou/sunwukong.txt"));
    }

    @Test//下载数据
    public void testGet() throws IOException {
        // boolean useRawLocalFileSystem 是否开启文件校验
        //传递下来的crc  用于校验
        fs.copyToLocalFile(false,new Path("/xiyou/huaguoshan1/sunwuk.txt"),new Path("E:\\HDFS\\"));
    }
    @Test
    public void testRm() throws IOException {
        //后面的这个boolean是判断其是否需要递归删除
        //如果要删除的路径是一个文件，参数recursive 是true还是false都行
        //如果要删除的路径是一个目录，参数recursive 开启true就是递归删除，如果填false，而下级目录还有文件，就会报错。
        fs.delete(new Path("/xiyou/huaguoshan"),true);
    }
    @Test//rename默认删除源文件，所以可以用于更名 也可以用于move
    public void testRename() throws IOException {
        fs.rename(new Path("/xiyou/sunwukong.txt"),new Path("/xiyou/swk.txt"));
    }
    //查看文件详情信息
    @Test
    public void testListFiles() throws IOException {
        RemoteIterator<LocatedFileStatus> iterator = fs.listFiles(new Path("/"), true);
        while (iterator.hasNext()){
            LocatedFileStatus file = iterator.next();
            System.out.println("========" + file.getPath() + "=========");
            System.out.println(file.getPermission());
            System.out.println(file.getOwner());
            System.out.println(file.getGroup());
            System.out.println(file.getLen());
            System.out.println(file.getModificationTime());
            System.out.println(file.getReplication());
            System.out.println(file.getBlockSize());
            System.out.println(file.getPath().getName());
            // 获取块信息
            BlockLocation[] blockLocations = file.getBlockLocations();
            System.out.println(Arrays.toString(blockLocations));
        }
    }
    @Test
    public void testFileStatus() throws IOException {
        FileStatus[] fileStatuse = fs.listStatus(new Path("/"));
        for (FileStatus file : fileStatuse) {
            if (file.isFile()){
                System.out.println("File:"+file.getPath().getName());
            }else {
                System.out.println("Document:"+file.getPath().getName());
            }
        }
    }

}