Ceph分布式存储

### Ceph 分布式存储系统架构 Ceph 是一种开源的分布式存储系统，支持对象存储、块设备以及文件系统的功能。其核心目标是提供高可用性和可扩展性，同时保持数据的一致性。 #### 架构组件 1. **RADOS (Reliable Autonomic Distributed Object Store)** RADOS 是 Ceph 的底层存储引擎，负责实现可靠的数据分布和复制机制。它是一个完全分布式的对象存储层，能够自动处理故障恢复和负载均衡[^1]。 2. **MON (Monitor)** Monitor 负责维护整个集群的状态图（Cluster Map），包括 OSD 和 MDS 的状态信息。它是集群的核心协调者，用于元数据管理和一致性保障[^3]。 3. **OSD (Object Storage Daemon)** OSD 是实际存储数据的服务进程，通常运行在物理硬盘上。它们不仅存储数据，还参与副本管理、数据修复和其他运维任务[^4]。 4. **MDS (Metadata Server)** 对于 Ceph 文件系统（CephFS），MDS 提供了 POSIX 兼容性的元数据服务，使得用户可以通过标准文件系统接口访问存储资源。 --- ### 部署流程概述 以下是典型的 Ceph 集群部署过程： #### 准备工作 - 确保所有节点的操作系统已安装必要软件包。 - 安装 `ceph-deploy` 工具以便简化配置管理工作[^3]。 #### 初始化集群 ```bash # 创建一个新的 Ceph 集群实例 $ ceph-deploy new {mon-host} ``` 此命令会生成初始配置文件 `/etc/ceph/ceph.conf` 并设置管理员密钥环。 #### 添加 MONitors ```bash # 将监控节点添加到集群中 $ ceph-deploy mon create-initial ``` 这一步会在指定主机上启动第一个 Monitor 实例，并初始化必要的目录结构。 #### 设置 OSDs 假设已有若干块裸盘可供分配给 Ceph 使用，则可通过如下方式准备这些硬件资源： ```bash # 复制配置与秘钥至各目标机器 $ ceph-deploy admin {node-list} # 利用现有分区作为独立的对象存储单元 $ ceph-disk prepare /dev/sdX --fs-type xfs $ ceph-disk activate /dev/sdX1 ``` 完成之后即可验证整体健康状况： ```bash $ ceph -s ``` 如果一切正常运作，“health OK” 应该显示出来表示没有错误发生。 --- ### 使用场景说明 #### 文件存储(CephFS) 借助内置的支持能力，可以轻松搭建起共享型 NAS 解决方案。相比传统协议如 NFS 或 SMB/CIFS 来说，性能表现更优同时也具备更高的灵活性[^2]。 示例挂载命令如下所示： ```bash mount -t ceph {monitor-ip}:6789:/path/to/share /mnt/localpoint/ ``` #### 块设备(RBD) 针对虚拟机镜像等需求设计而成的一种持久化解决方案，在 OpenStack 中被广泛采用以满足弹性计算平台对于高效 IO 性能的要求[^4]。 创建并映射一块新磁盘的例子： ```python import rbd, librados cluster = librados.Rados(conffile='/etc/ceph/ceph.conf') ioctx = cluster.open_ioctx('rbd_pool') disk_image = rbd.Image(ioctx, 'new_volume', size=GB(10)) with disk_image as img: pass # Perform operations on the image here. ``` ---