
hdfs
但行益事莫问前程
大数据研发, 开发flink实时流
展开
-
hdfs NameNode和SecondaryNameNode工作机制、FsImage和Edits解析、集群安全模式
元数据需要存放在内存中进行随机访问,并处理客户请求。但为了防止断电,元数据丢失,因此产生(NameNode内存中元数据序列化后形成的文件)。 内存中的元数据更新,为保证和,引入(记录客户端更新元数据信息的每一步操作)文件进行,即当元数据有更新或者添加时,修改内存中的元数据并追加到Edits中。一旦NameNode节点故障,可以通过,合成元数据。 如果长时间追加Edits,文件数据过大,会造成效率降低且一旦断电元数据恢复耗时过长。因此,需要定期进行,引入一个新的节点SecondaryNamenod原创 2022-06-27 18:15:55 · 52879 阅读 · 0 评论 -
hdfs datanode启动失败 org.apache.hadoop.util.DiskChecker$DiskErrorException: Directory is not readable
问题:datanode启动失败,查看datanode日志 原因: 查看服务器文件系统和挂载发现挂载的磁盘不存在 查看hdfs数据目录 hdfs-site.xml的配置数据目录和磁盘容错 解决:因为没磁盘换,可 或者原创 2022-06-24 14:51:20 · 73714 阅读 · 0 评论 -
hdfs java api操作hdfs 若文件不存在则创建,否则进行文件追加
hdfs原创 2022-06-23 20:53:04 · 53447 阅读 · 0 评论 -
hdfs fsck命令检查文件系统健康状态、处理missing blocks问题、hdfs fsck / -delete执行失败
hadoop集群由于磁盘损坏、节点挂机、机架掉电难免造成一些文件块损坏,通过命令,如,出现报错命令: 参数含义: 2. 使用 首先执行,发现执行失败,查看hdfs状态 执行,再运行 检查状态...原创 2022-06-23 18:29:38 · 54736 阅读 · 0 评论 -
hdfs 目录设置配额 、查询配额使用情况 、清除配额
hdfs可使用配额命令限制对应目录下文件目录数和目录可用空间大小 名称配额限制目录下(包含目录)文件和目录数量,超出限制则命令执行失败,报异常 空间配额限制目录下文件使用的字节数 : 2. 查询配额使用情况 : 带头信息展示配额使用情况......原创 2022-06-22 14:46:45 · 74175 阅读 · 0 评论