hdfs_大数据博客-专业IT技术发表平台

推荐付费专栏 VIP文章

SpringBoot + Hadoop + HDFS + Vue 实现一个简单的文件管理系统基于Hadoop到底HDFS简单的文件管理系统。

阅读 1.7k

13赞

人间有清欢

docker部署hadoop集群 docker部署hadoop集群；通过Dockerfile方式构建hadoop容器；hadoop职责划分为NameNode、DataNode、NodeManager、ResourceNode、2NN；HDFS、MapReduce、Yarn测试。

阅读 1.8k

22赞

程序终结者

【七】Hadoop3.3.4基于ubuntu24的分布式集群安装本次安装实验基于苹果m2芯片的mac系统，使用vmware fusion搭建三台ubuntu24分布式虚拟机，确保在三台机器上安装了Java jdk8，并配置了免密码登录，网络互通，防火墙关闭，授时服务器已经同步。访问apche官网源，下载3.3.4版本，我们用二进制通用版即可，因为hadoop运行在java环境，跨平台性使得无需编译arm架构版本。至此，Hadoop的安装完成，包括hdfs文件存储系统，mapreduce计算框架，yarn资源管理系统均能正常、稳定使用。

阅读 1.2k

7赞

大数据深度洞察

Hadoop 中的大数据技术：HDFS（1） 1.1 HDFS 的产出背景与定义HDFS 的产生缘由随着数据规模的持续增大，单个操作系统无法容纳全部数据，于是数据被分配至更多由操作系统管理的磁盘中。然而，这种方式在管理和维护上存在不便，急切需要一套系统对多台机器上的文件予以管理，分布式文件管理系统便应运而生。HDFS 只是此类系统中的一种。HDFS 的定义阐释HDFS（Hadoop Distributed File System），其作为一种文件系统，主要用于文件的存储，并借助目录树来对文件进行定位；

阅读 1.7k

33赞

AI天才研究院

对HDFS和Hive等技术进行详细解读；作者：禅与计算机程序设计艺术 1.简介Apache Hadoop是一个开源的分布式文件系统和计算框架，是 Apache Software Foundation 的顶级项目。它由Apache基金会所托管，并得到了广泛的应用，特别是在互联网搜索、电子商务、日志分析、数据仓库方面。HDFS（Hadoop D

阅读 1.3k

1赞

沧海寄馀生

Python语言连接访问Kerberos认证下的HA HDFS 「目的描述」此篇文章目的是使用Python语言对启用Kerberos、High Availability的HDFS文件系统进行访问，主要介绍KerberosClient、pyarrow、hdfs3三种方式。「环境说明」Python运行环境为3.7.0集群环境为CDH6.2.1(已启用Kerberos认证)Namenode实例所在机器分别为cm111、cm112废话不多说,直接上代码1、HdfsCl...

阅读 2.6k

0赞

大数据技术部落

【HDFS】hdfs的count命令的参数详解【HDFS】hdfs的count命令的参数详解

阅读 2.2k

0赞

生产队队长

Hadoop3：HDFS的客户端工具Big Data Tools（IDEA版本） Hadoop

阅读 1.0k

1赞

MapReduce编程 MapReduce是一种分布式计算模型，用于处理大规模数据集。它将数据分成多个小块，然后在多个计算节点上并行处理这些小块。MapReduce的工作原理如下：Map阶段：将输入数据分成多个小块，然后在多个计算节点上并行处理这些小块。每个计算节点都会执行Map函数，将输入数据转换成键值对。Shuffle阶段：将Map函数的输出结果按照键进行分组，然后将同一组的键值对发送到同一个Reduce节点上。

阅读 3.2k

6赞

大数据技术③｜大数据第13章｜Hadoop 分布式文件系统｜20:30~20:55 JobTracker 管理 Hadoop 集群中的作业（一般在一个 Hadoop集群中只能有一个 JobTracker 存在），JobTracker 决定 TaskTracker 处理哪一个任务，它尝试将任务指向数据所在的DataNode，并通过 Heartbeat 信息与 JobTracker进行通信。BlockReport（块报告）包含在一个 DataNode中的所有块的列表；15. 如果数据节点发生故障，NameNode 将为新的副本选择一个新的数据节点，平衡磁盘的用量，并管理数据节点的通信流量。

阅读 706

0赞

HDFS及各组件功能介绍 Backup Node的作用类似于Secondary NameNode，但它可以在实时和连续的基础上备份NameNode的元数据，从而提供更快的故障恢复能力。6. 数据写入：当客户端需要向一个文件写入数据时，它会将数据分成固定大小的数据包，并与最近的数据节点建立连接。5. 数据读取：当客户端需要读取一个文件时，它会向NameNode发送请求，获取文件的元数据和数据块的位置信息。通过数据的切分、副本选择、数据块存储和复制等步骤，HDFS实现了高可靠性、高可用性和高性能的分布式数据存储。

阅读 2.5k

0赞

HDFS学习笔记对于每一个数据块，NameNode 节点返回保存数据块的数据节点的地址。当Active NameNode的命名空间发生变化的时候，它会把这个变化通知所有JN，有的JN收到信息，有的JN是没有收到信息的，如果大部分JN进程接到信息，就认为这个事件是可信的，如果少数的JN接到信息，就认为这个信息是错误的，是屏蔽的，对于可信的信息，standby Namenode才会去同步过来，通过JN这种方式，才能保证Standby Namenode和Active Namenode之间有效信息的一个同步。

阅读 4.7k

1赞

HDFS概述及其优缺点 HDFS的全称是hadoop distributed file system，即hadoop的分布式文件系统。见名知意，它就是用来进行文件存储的。毕竟它是大数据的一个组件，用来存储这种海量的数据。它是基于03年10月份，谷歌发表的GFS这篇论文做的开源实现。目前是hadoop的一个核心子项目，用来解决海量数据存储的问题。hadoop的三个子项目，一个是HDFS，一个是YARN，一个是MapReduce。目前在开源大数据技术体系中，它的地位是无可替代的。

阅读 2.1k

2赞

书香恋仁心

07-HDFS入门及shell命令 Hadoop分布式文件系统。是Apache Hadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在。分布式文件系统解决大数据如何存储的问题。分布式意味着是横跨在多台计算机上的存储系统。HDFS是一种能够在普通硬件上运行的分布式文件系统，它是高度容错，适用于具有大数据集的应用程序，它非常适于存储大型数据（比如 TB PB）HDFS使用多台计算机存储文件，并且提供统一的访问接口，像是访问一个普通的文件系统一样使用分布式文件系统。

阅读 1.9k

0赞

命令上传文件失败/Couldn‘t upload the file hadoop上传文件失败

阅读 2.1k

0赞

[Hadoop安装配置 ] 水能载舟,亦能覆舟。

阅读 3.1k

3赞

HADOOP入门 Hadoop由4部分组成1)HDFS:(Hadoop Distribute File System)分布式文件系统,海量数据存储解决方案2)MapReduce:Hadoop的分布式运算编程框架3)Yarn:分布式资源调度平台和任务监控平台4)Commons: HADOOP底层技术支持大数据存储大数据分析。

阅读 445

0赞

肉肉肉肉肉肉~丸子

大数据应用——工程实践III Hadoop是一个庞大的生态系统，包含了很多的组件和工具，学习曲线比较陡峭。初学者最好从基础入手，先学习Hadoop的基本概念和核心组件，如HDFS和MapReduce等。但是，通过实践和不断的学习，我们可以掌握Hadoop的核心知识和技能，并为大数据时代做出贡献。Hadoop的学习需要耐心和坚持不懈的精神，很多时候需要花费大量的时间和精力去理解和解决问题。Hadoop的学习不仅是理论知识的积累，更需要实践和经验的积累。通过实际操作和开发Hadoop应用程序，才能更好地掌握和理解Hadoop的知识和技能。

阅读 826

0赞

Hadoop的核心组件HDFS架构是怎样的？有什么优缺点？今天我们来聊下 Hadoop主要有两个核心项目，分别是HDFS（分布式文件存储系统）和YARN（资源管理器）。就是因为这两个的存在，才会衍生出Spark、MapReduce、HBase等组件。今天我们就来聊下HDFS的核心原理。![](http://img.ibearzmblog.com/blog/hdfs.jpeg)

阅读 621

0赞

Hadoop历险记（前言）我在工作中接触过大数据相关的东西但是平常都是业务开发为主，这段时间正好有空好好梳理一下大数据的hadoop体系。

阅读 63

0赞

作者推荐

黑夜中的潜行者: 赢家不是那些从不失败的人，而是属于那些从不放弃的人

关注

GhostKINGC: 51CTO讲师，致力于研发高质量.NET技术教程内容 bilibili @南邸鬼王

关注