ceph分布式存储搭建

### Ceph分布式存储系统搭建教程 #### 基础环境准备 在所有节点上安装必要的基础工具，这是构建Ceph集群的第一步。通过以下命令可以完成这些工具的安装： ```bash dnf install -y python3 python3-pip tar ``` 此操作适用于基于Red Hat系列的操作系统，例如CentOS或openEuler[^1]。 #### 部署工具安装 为了简化Ceph集群的部署过程，推荐使用`ceph-deploy`工具来管理整个流程。该工具可以通过Python包管理器pip3进行安装： ```bash pip3 install ceph-deploy ``` 这一工具主要用于初始化集群、分发密钥以及配置监控节点等功能。 #### 创建Ceph集群并初始化 假设已经有一台服务器名为`storage01`作为初始节点，在这台机器上运行如下命令以创建一个新的Ceph集群： ```bash mkdir my-cluster && cd my-cluster ceph-deploy new storage01 ``` 随后编辑生成的`ceph.conf`文件，调整网络设置和其他参数以适配实际需求。完成后继续执行以下命令以安装Ceph软件到目标节点： ```bash ceph-deploy install storage01 ``` #### 添加监视器和启动服务 向新建立的集群添加第一个Monitor实例，并同步时间戳数据至其他成员节点： ```bash ceph-deploy mon create-initial ``` 此时应该能够看到基本的服务状态信息，可通过下面这条指令验证Monitors的状态是否正常工作： ```bash ceph status ``` #### 设置登录凭证与仪表盘访问 如果希望启用图形化界面方便管理和查看统计，则需先设定管理员账户密码组合。例如用户名为jx123邮箱地址设为123.com时可按下列方式输入： ```bash ceph dashboard set-login-credentials jx123 123.com ``` 注意这里仅作示范用途，请替换为自己安全可靠的认证资料[^2]。 #### 存储池定义及文件系统挂载 最后一步便是规划好具体的存储空间分配方案之后再着手于具体业务场景下的应用集成环节前还需要提前做好相应的准备工作比如预先划分若干个独立分区或者逻辑卷组等等然后再依据官方文档指导逐步推进直至最终成功上线为止。 创建一个简单的存储池供测试之用： ```bash ceph osd pool create test_pool 128 ``` 接着按照实际情况决定采用哪种类型的接口形式对外提供共享资源服务比如说NFS网关模式还是RGW对象网关之类的选择取决于项目本身的技术选型方向。 ---

### Ceph 分布式存储系统架构 Ceph 是一种开源的分布式存储系统，支持对象存储、块设备以及文件系统的功能。其核心目标是提供高可用性和可扩展性，同时保持数据的一致性。 #### 架构组件 1. **RADOS (Reliable Autonomic Distributed Object Store)** RADOS 是 Ceph 的底层存储引擎，负责实现可靠的数据分布和复制机制。它是一个完全分布式的对象存储层，能够自动处理故障恢复和负载均衡[^1]。 2. **MON (Monitor)** Monitor 负责维护整个集群的状态图（Cluster Map），包括 OSD 和 MDS 的状态信息。它是集群的核心协调者，用于元数据管理和一致性保障[^3]。 3. **OSD (Object Storage Daemon)** OSD 是实际存储数据的服务进程，通常运行在物理硬盘上。它们不仅存储数据，还参与副本管理、数据修复和其他运维任务[^4]。 4. **MDS (Metadata Server)** 对于 Ceph 文件系统（CephFS），MDS 提供了 POSIX 兼容性的元数据服务，使得用户可以通过标准文件系统接口访问存储资源。 --- ### 部署流程概述 以下是典型的 Ceph 集群部署过程： #### 准备工作 - 确保所有节点的操作系统已安装必要软件包。 - 安装 `ceph-deploy` 工具以便简化配置管理工作[^3]。 #### 初始化集群 ```bash # 创建一个新的 Ceph 集群实例 $ ceph-deploy new {mon-host} ``` 此命令会生成初始配置文件 `/etc/ceph/ceph.conf` 并设置管理员密钥环。 #### 添加 MONitors ```bash # 将监控节点添加到集群中 $ ceph-deploy mon create-initial ``` 这一步会在指定主机上启动第一个 Monitor 实例，并初始化必要的目录结构。 #### 设置 OSDs 假设已有若干块裸盘可供分配给 Ceph 使用，则可通过如下方式准备这些硬件资源： ```bash # 复制配置与秘钥至各目标机器 $ ceph-deploy admin {node-list} # 利用现有分区作为独立的对象存储单元 $ ceph-disk prepare /dev/sdX --fs-type xfs $ ceph-disk activate /dev/sdX1 ``` 完成之后即可验证整体健康状况： ```bash $ ceph -s ``` 如果一切正常运作，“health OK” 应该显示出来表示没有错误发生。 --- ### 使用场景说明 #### 文件存储(CephFS) 借助内置的支持能力，可以轻松搭建起共享型 NAS 解决方案。相比传统协议如 NFS 或 SMB/CIFS 来说，性能表现更优同时也具备更高的灵活性[^2]。 示例挂载命令如下所示： ```bash mount -t ceph {monitor-ip}:6789:/path/to/share /mnt/localpoint/ ``` #### 块设备(RBD) 针对虚拟机镜像等需求设计而成的一种持久化解决方案，在 OpenStack 中被广泛采用以满足弹性计算平台对于高效 IO 性能的要求[^4]。 创建并映射一块新磁盘的例子： ```python import rbd, librados cluster = librados.Rados(conffile='/etc/ceph/ceph.conf') ioctx = cluster.open_ioctx('rbd_pool') disk_image = rbd.Image(ioctx, 'new_volume', size=GB(10)) with disk_image as img: pass # Perform operations on the image here. ``` ---