ceph纠删码精简配置ec4+2:1与ec4+2的切换

原创 已于 2024-05-13 17:18:35 修改 · 2k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ceph #运维 #linux

于 2024-05-13 17:14:30 首次发布

概述

近期遇到项目，由于灵活配置，前期只有部分机器，后续扩容，想用ec4+2的纠删码，但前期只有3台机器，需要做精简ec。

erasure-code-profile

首先按照ceph创建纠删码池步骤进行操作。

创建ec4+2的rule

ceph osd erasure-code-profile set newecrule k=4 m=2

查看该rule

# ceph osd erasure-code-profile get newecrule
crush-device-class=
crush-failure-domain=host
crush-root=default
jerasure-per-chunk-alignment
最低0.47元/天 解锁文章

200万优质内容无限畅学
ceph第三篇: 存储池，纠删码池概念和配置
weixin_43743301的博客
04-11 114
将每个对象存储为 N=K+M 个块（chunk），其中 K 为数据块数量，M 为编码块数量。比较常用的配置是 8+4（即 K 为 8，M 为 4），总共 12 个数据块中有 8 个数据块保存数据，有 4 个实现数据冗余。这样的话，1/3 的磁盘空间用于数据冗余，相比于副本池的三倍冗余更节省空间，但不能出现大于一定数目的块故障。数据分布：实际存储需要4个OSD（k+m=4），允许最多2个OSD故障不丢数据。[2,4,1,7]：数据块分布的OSD编号（对应D1,D2,C1,C2）。
使用 Ceph 作为 OpenStack 的统一存储解决方案
烟云的计算
04-25 1万+
目录 文章目录目录前文列表对接 Nova对接 Glance对接 Cinder 前文列表 《手动部署 OpenStack Rocky 双节点》 《手动部署 Ceph Mimic 三节点》 《Ceph 分布式存储架构解析与工作原理》 《Ceph RBD 的实现原理与常规操作》 对接 Nova 对接 Glance 对接 Cinder ...
可大可小，弹性高效，分布式存储路由算法发现软件定义之美
XSKY星辰天合的博客
05-07 1213
前言 在分布式存储系统中，如何在不可靠硬件系统中实现稳定可靠的存储服务一直是工程上的难点，业界一般采用多副本技术来保障数据的可靠性。 在多副本基础上，我们还需要考虑多故障域。但是故障域的需求可能是动态变化的，一个客户在初期可能只有3台机器，那么故障域就是节点，即允许2个节点同时发生故障，剩下1个节点即可提供服务。后面随着业务的增长，需要不断地进行扩容，这时候节点数可能增加到数十台到数百台。随着节点数的增加，多个节点同时发生故障的概率也会增加。如果还是选择节点作为故障域，那么由于多节点同时故障导致的服务不可用
【存储】纠删码EC2+1，EC2+2，EC4+1，EC4+2:1分别是什么意思？
最新发布
bandaoyu的note
04-25 6997
简介：纠删码技术主要是通过纠删码算法将原始的数据进行编码得到冗余，并将数据和冗余一并存储起来，以达到容错的目的。将n块原始的数据元素，通过计算（编码）得到m块冗余元素（校验块）。也就是n+m份数据通过DHT算法分别存储不同硬盘中。当其中任意的m块元素出错（包括原始数据和冗余数据）时，均可以通过对应的重构算法恢复出原来的n块数据。在这种方式下，空间的利用率约为 n/(n+m)，数据的可靠性由 m 值的大小决定，m越大可靠性越高。
【⭐阅读推荐指数：5颗星★★★★★⭐】关于多副本纠删码，你想知道的全都在这里
谁吃薄荷糖
07-13 1万+
什么是分布式存储？ 介绍多副本和纠删码之前，我们先来说一下分布式存储。分布式存储是不同于传统集中式存储的的一种架构，很多时候也被称为SDS软件定义存储（Software Defined Storage）。 传统集中式存储采用控制器+硬盘柜的方式，通过冗余的双控制器提供数据管理和读写能力（也有超过2个控制器的多控存储，多见于高端存储），通过控制器自带的硬盘槽位或扩展硬盘柜提供存储空间，如下图。 集中式存储的硬盘数据保护多采用RAID技术，比如RAID5、RAID6、RAID10等，以后有机会我们
ceph部署-纠删码
weixin_44257754的博客
08-01 719
ceph部署
全闪SDS三节点EC(4+2:1)性能挑战测试
刘爱贵的专栏
06-04 2690
三节点集群，用EC（4+2:1），性能目标是：4KB随机读写7:3，达到100万IOPS，平均时延0.5ms，P99时延1ms。硬件配置：网络100G RoCE。每节点128GB DRAM，每节点6片nvme SSD。
Ceph 进阶系列（四）：Ceph的纠删码特性 EC（Erasure Code）
Yannick Jiang 的专栏
08-22 9716
从GitHub上Clone Ceph项目，我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的 一、EC（Erasure Code）是什么？ Ceph的纠删码特性EC：将写入的数据分成N份原始数据，通过这N份原始数据计算出M份效验数据。把N+M份数据分别保存在不同的设备或者节点中，并通过N+M份中的任意N份数据块还原出所有数据块。EC包含了编码和解码两个过...
ceph纠删码池
昂老师的博客
10-04 148
【代码】ceph纠删码池。
Ceph架构剖析
02-26
云硬盘是IaaS云平台的重要组成部分，云...1.Object：有原生的API，而且也兼容Swift和S3的API2.Block：支持精简配置、快照、克隆3.File：Posix接口，支持快照高扩展性：使用普通x86服务器，支持10~1000台服务器，支持T
Ceph性能测试：纠删码 vs. 三副本？.pdf
04-27
Ceph 在今天有多火就不⽤多说了吧。正如许多分布式存储那样，三副本的容量利利 用率始终是个问题，特别是对于海量⾮结构化数据和冷存储这些在意性价比的应用来说。相比之下，纠删码(Erasure Code)能够提供接近于本地 RAID 5/6 的有效磁盘空间，代价是牺牲了性能。纠删码在随机写⼊，特别是改写和重构(Rebuild)时产生的 I/O 惩罚较大，对应的集群网络流量比副本保护模式要大。 那么 Ceph 使⽤用纠删码在各种情况下的性能都⽐比三副本要低吗?答案是否定的。如果您 还⼼心存疑问，请看本⽂文分解。
ceph的压缩、加密、纠删码
lucyLee的博客
06-13 6106
ceph的压缩、加密、纠删码 ① 压缩（Compression ） 对ceph压缩的一写描述： （1）The Ceph Object Gateway supports server-side compression of uploaded objects, using any of Ceph’s existing compression plugins.CEPH对象网关支持使用Ceph现有的...
纠删码简要介绍（与纠错码的区别）
weixin_30444105的博客
11-09 1178
存储领域来看，数据冗余机制其实这几十年来没有太多进展，RAID，副本一直是当仁不让的最终选择。而近几年，尤其是规模较大的应用场景下，纠删码越来越多的出现在选择的视野范围，成为RAID，副本之外的第三种选择，因此也获得了越来越多的关注。 纠删码（Erasure Code)本身是一种编码容错技术，最早是在通信行业解决部分数据在传输中损耗的问题，它的基本原理是把传输的信号分段，加入一定的校验再让各段间...
ceph纠删码_ec笔记
ssbandjl的博客
11-03 669
【代码】ceph纠删码_ec笔记。
K8s使用Ceph纠删码池做持久化卷
qq_42015987的博客
05-26 2546
K8s使用Ceph纠删码池做持久化卷Ceph侧准备Ceph纠删码相关创建纠删码规则创建纠删码池创建复制集池创建用户并授权K8s消费ec池验证（可选）缓存方式 Kubernetes版本：v1.20.4 Ceph版本：v14.2.20（nautilus） Linux版本：x86_64-Centos7.6 KubeSphere 版本 : v3.1.0 provisioner：rbd.csi.ceph.com Ceph侧准备 Ceph纠删码相关 Ceph pool有两种保护数据冗余机制，即纠删码(erasure c
ceph纠删码分层存储概念及命令
pansaky的博客
04-09 1277
分级缓存 分级缓存可提升后端存储内某些（热点）数据的 I/O 性能。分级缓存需创建一个由高速而昂贵存储设备（如 SSD ）组成的存储池、作为缓存层，以及一个相对低速/廉价设备组成的后端存储池（或纠删码编码的）、作为经济存储层。 Ceph 的对象处理器决定往哪里存储对象，分级代理决定何时把缓存内的对象刷回后端存储层；所以缓存层和后端存储层对 Ceph 客户端来说是完全透明的。 缓存层代理自动...
Ceph数据保护（多副本和纠删码）
CSDN博客
09-19 2649
介绍多副本和纠删码之前，我们先来说一下分布式存储。分布式存储是不同于传统集中式存储的的一种架构，很多时候也被称为SDS软件定义存储（Software Defined Storage）。传统集中式存储采用控制器+硬盘柜的方式，通过冗余的双控制器提供数据管理和读写能力（也有超过2个控制器的多控存储，多见于高端存储），通过控制器自带的硬盘槽位或扩展硬盘柜提供存储空间，如下图。集中式存储的硬盘数据保护多采用RAID技术，比如RAID5、RAID6、RAID10等，以后有机会我们再单独介绍。
关于多副本和纠删码（二）--EC（纠删码）原理
业精于勤，荒于嬉；行成于思，毁于随。
11-03 1万+
文章目录一、Erasure Coding（纠删码）和Raid比较二、Erasure Coding（纠删码）介绍2.1正常场景时EC读写原理2.2故障场景时EC读写原理2.3EC冗余配比 一、Erasure Coding（纠删码）和Raid比较 （1）EC算法是跨节点的，4+2:1的冗余允许1个节点故障而不丢失数据，RAID5一般是由节点内的若干块盘组成RAID组的，只能容忍硬盘故障，不能容忍节点故障。 （2）EC算法采用全局热备的方式，不需要单独的热备盘，所有硬盘都可参与数据读写，只要系统中有剩余空间，就可
Minio入门系列【2】纠删码
热门推荐
吴名氏的博客
09-14 7万+
Minio入门系列【2】纠删码
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值