ceph对接juicefs_juicefs ceph-CSDN博客

juicefs

喜欢ceph的话欢迎关注奋斗的cepher微信公众号阅读更多好文！

在很多场景中，业务会倾向于使用成熟方便的文件存储，像本地目录、NFS、smb等等，文件存储有其应用优势，在松鼠哥的课程中对各种存储方式的利弊介绍已经很详细了，本篇我们来介绍juicefs。

ceph虽然支持文件存储cephfs，但是它的稳定性还是不太足够，而且在大规模数据场景下，可靠性还是不太行，时至今日，使用cephfs进行大量数据的文件存储，松鼠哥还是觉得要慎重~

juicefs最开始是听一些朋友介绍，据说性能彪悍，稳定性也不错，所以一直打算调研，终于，有了本篇

开始

首先是ceph的准备，松鼠哥使用ceph 16.2.14的二进制部署环境，集群是基本的S3对象存储环境，配置了zone

root@debian:~# ceph df
--- RAW STORAGE ---
CLASS    SIZE   AVAIL     USED  RAW USED  %RAW USED
hdd    60 GiB  58 GiB  1.9 GiB   1.9 GiB       3.21
TOTAL  60 GiB  58 GiB  1.9 GiB   1.9 GiB       3.21
 
--- POOLS ---
POOL                          ID  PGS   STORED  OBJECTS     USED  %USED  MAX AVAIL
device_health_metrics         31    1      0 B        7      0 B      0     19 GiB
juicefs_pool                  33   64     36 B        1   12 KiB      0     19 GiB
.rgw.root                     34   32  7.3 KiB       22  252 KiB      0     19 GiB
songshuge.rgw.log             35   32   23 KiB      306  1.9 MiB      0     19 GiB
songshuge.rgw.meta            36   32  1.3 KiB        7   72 KiB      0     19 GiB
songshuge.rgw.control         37   32      0 B        8      0 B      0     19 GiB
songshuge.rgw.buckets.non-ec  38   32      0 B        0      0 B      0     19 GiB
songshuge.rgw.buckets.index   39   32  7.7 KiB       11   23 KiB      0     19 GiB
songshuge.rgw.buckets.data    40   32  9.9 MiB        5   30 MiB   0.05     19 GiB

这个测试小集群只有3台机器，为了更贴合应用场景，松鼠哥使用另外一台非集群节点来作为juicefs的客户端节点。

对接S3

在使用juicefs对接ceph的S3前，需要在集群创建用户并在该用户下创建bucket

root@debian:~# radosgw-admin user list
[
    "test-1"
]
root@debian:~# radosgw-admin bucket list
[
    "test-bucket-pool1"
]

首先要安装一个redis，juicefs可以使用多种存储引擎来存储元数据，松鼠推荐使用redis，无他，性能好

root@debian4:~# apt install redis-server

安装完成后做一下配置，指定它的监听ip，这里是测试环境，安装一个单机的试试，如果要生产用，要考虑高可用

root@debian4:~# grep 'bind' /etc/redis/redis.conf |grep -v '#'
bind 192.168.56.122 ::1
root@debian4:~# redis-cli -h debian4 ping
PONG

redis准备好之后，接下来在节点安装juicefs，使用官方推荐的一键安装

root@debian4:~# apt install curl
root@debian4:~# curl -sSL https://d.juicefs.com/install | sh -

安装完成后，格式