ceph 16.2.15 实操

一、远程服务器挂载ceph 磁盘

由于版本不一样，所以有些地方不兼容，需要修改

ceph version  # rocky linux 8
ceph version 16.2.15 (618f44020921c3e944a991122ddc44e60516) pacific (stable)
# 客户端  centos7.9
yum list installed | grep ceph-common
ceph-common.x86_                   2:13.2.10-0.el7          @Ceph

要将Ceph集群中的200GB空间挂载到系统为CentOS 7.9的服务器上，可以按以下步骤操作：

1. 安装Ceph客户端工具

首先，在CentOS 7.9服务器上安装Ceph客户端工具：

sudo yum install -y epel-release
sudo yum install -y ceph-common

2. 配置Ceph客户端

sudo mkdir -p /etc/ceph
scp user@192.168.147.221:/etc/ceph/ceph.conf /etc/ceph/ceph.conf
scp user@192.168.147.221:/etc/ceph/ceph.client.admin.keyring /etc/ceph/ceph.client.admin.keyring

3. 创建Ceph块设备映像

在任意一台Ceph Monitor节点上（例如192.168.147.221），创建一个200GB的块设备映像：

ceph osd pool create mypool 
rbd create mypool/myvolume --size 200G

4. 映射RBD设备

 cat /etc/ceph/221ceph/ceph.conf
[global]
        fsid = 3b29de98-0146-11ef-8aa6-xxxx
        keyring = /etc/ceph/221ceph/ceph.client.admin.keyring
        auth_cluster_required = cephx # 这三行不知有没有用
        auth_service_required = cephx
        auth_client_required = cephx
        mon_host = 192.168.147.221,192.168.147.222,192.168.147.224

由于ceph-common和 ceph集群版本不同，所以把这几个功能关掉了
rbd feature disable jianlin_pool/jlvolume exclusive-lock object-map fast-diff deep-flatten

在CentOS 7.9服务器上，将创建好的RBD设备映射到本地：

sudo rbd map mypool/myvolume --id admin # --keyring /etc/ceph/ceph.client.admin.keyring 这个已经写到ceph.conf里了
# 有问题输入dmesg | tail 查看问题所在

执行上述命令后，将会返回一个映射的设备路径，例如 /dev/rbd0。

5. 格式化RBD设备

格式化映射的设备以便在CentOS 7.9服务器上使用：

sudo mkfs.xfs /dev/rbd0

6. 挂载RBD设备

创建挂载点并挂载RBD设备：

sudo mkdir -p /mnt/mycephvolume
sudo mount /dev/rbd0 /mnt/mycephvolume

7. 配置开机自动挂载

编辑 /etc/fstab 文件，添加如下行以确保系统重启后自动挂载RBD设备：

/dev/rbd0  /mnt/mycephvolume  xfs  defaults,_netdev  0  0

二、HEALTH_WARN 1 pool(s) do not have an application enabled

使用 ceph health detail 命令查看更详细的健康警告信息。

ceph health detail
# 如果用作rbd用
ceph osd pool application enable <pool-name> rbd

一、CephX 认证机制：

1、mon负责认证，mon一定要三个，要不一个坏了以后还咋认证
2、认证完才能对ceph增删改查
3、
在 Ceph 中，这些命令和指令都是与 Ceph 权限控制相关的。让我逐个解释：

4、
这三条命令都是用于在 Ceph 集群中管理认证密钥的命令。

1. ``

ceph-authtool ./ceph.client.user.keyring --import-keyring ./ceph.client.admin.keyring

这个命令的作用是将 ceph.client.admin.keyring 中的密钥导入到 ceph.client.user.keyring 中。通常情况下，ceph.client.admin.keyring 中包含了管理员的密钥，而 ceph.client.user.keyring 则用于普通用户或客户端的密钥管理。通过这个命令，普通用户可以使用管理员的密钥来访问 Ceph 集群的资源。

2. ``

ceph-authtool -l ./ceph.client.user.keyring

这个命令的作用是列出指定密钥环文件中的密钥信息。通过这个命令，可以查看 ceph.client.user.keyring 中包含的密钥信息，包括密钥类型、密钥名称等。

3. ``

ceph-authtool ./ceph.client.user.keyring --import-keyring ./ceph.client.user1.keyring

这个命令的作用是将 ceph.client.user1.keyring 中的密钥导入到 ceph.client.user.keyring 中。这个命令可以用于合并多个密钥环文件中的密钥信息，使得 ceph.client.user.keyring 中包含更多的密钥，从而实现对更多资源的访问权限。

二、Ceph RBD

1、

1. ceph osd pool application enable rbd-data1 rbd

告诉 Ceph 集群，存储池 rbd-data1 将被用于存储 RBD 镜像，以便 Ceph 根据存储池的特性进行相应的优化。

2. rbd pool init -p rbd-data1

执行这个命令后，Ceph 将为存储池 rbd-data1 创建所需的元数据和数据存储结构，以便后续存储 RBD 镜像。
2、

rbd create data-img1 --size 3G --pool rbd-data1 --image-format 2 --image-feature layering

• rbd create data-img1：创建一个名为 data-img1 的 RBD 镜像。

• --size 3G：指定创建的 RBD 镜像的大小为 3GB。这表示 RBD 镜像的最大容量为 3GB。

• --pool rbd-data1：这表示该 RBD 镜像将存储在名为 rbd-data1 的 Ceph 存储池中。

• --image-format 2：指定创建的 RBD 镜像的格式为格式化为2。这个参数指定了 RBD 镜像的格式化方式，格式化为2表示使用的是扩展后的内部元数据格式。这种格式通常用于支持一些新特性和改进。

• --image-feature layering：指定创建的 RBD 镜像具有 “layering” 特性。这个特性表示该 RBD 镜像支持层化（Layering），即支持基于快照的写时复制（Copy-on-Write）操作。这允许你在 RBD 镜像上创建快照，并在快照上进行写操作而不影响原始数据。

综合起来，这条命令的含义是：在名为 rbd-data1 的存储池中创建一个名为 data-img1 的 3GB 大小的 RBD 镜像，使用格式化为2的格式，并具有层化特性，支持快照和写时复制操作。

3、
在 Ceph 中，--image-format 参数用于指定创建的 RBD 镜像的格式。不同的格式对 RBD 镜像的元数据和特性有不同的影响。目前，常用的 RBD 镜像格式有以下几种：

1. 格式化为1（Format 1）：

   • 格式化为1的 RBD 镜像使用经典的元数据格式。
   • 这种格式适用于早期版本的 Ceph 和较旧的客户端。
   • 不支持一些新的 RBD 镜像特性，如扩展、快照、克隆等。

2. 格式化为2（Format 2）：

   • 格式化为2的 RBD 镜像使用扩展后的内部元数据格式。
   • 这种格式支持更多的 RBD 镜像特性，如快照、克隆、扩展、层化等。
   • 建议在较新版本的 Ceph 集群和客户端中使用。

3. 动态格式（Dynamic Format）：

   • 动态格式是一种自动选择格式的方式，它根据集群版本和客户端支持的功能来动态选择 RBD 镜像的格式。
   • 当创建 RBD 镜像时，如果指定了动态格式，则集群会根据集群版本和客户端支持的特性自动选择最合适的格式。

一般来说，建议使用格式化为2的 RBD 镜像格式，因为它支持更多的特性和功能，且适用于较新版本的 Ceph 集群和客户端。
4、