ceph笔记-3、使用ceph

一、Ceph Filesystem

• 1、部署CephFS，部署MDS服务

  • 使用CephFS文件系统需要一个或多个 MDS 守护进程。使用较新的接口创建新的文件系统，则会自动创建这些守护进程。

# 创建 FS 卷的时候会自动创建MDS服务，池等
ceph fs volume create foo --placement="2,host01,host02"  # 在host01 host02创建并规定2个

# 使用这个放置MDS服务后还要创建FS卷，上边创建卷自动起MDS服务
ceph orch apply mds cephfs --placement="2,host03,host02" # 重新放置# 在host01 host02 重新放置2个MDS

# 查询
ceph fs status

# 查询结果可以看到mds 的主备关系。文件系统的名字，两个池子

• 2、在客户端节点上挂载 CephFS

  • 查看文档 创建文件系统

  • 挂载 cephFS

#  两种挂载方式，1是内核驱动挂载 2是FUSE驱动挂载
#  这里演示内核驱动挂载

# 下载mon配置文件
mkdir -p -m 755 /etc/ceph
ssh {user}@{mon-host} "sudo ceph config generate-minimal-conf" | sudo tee /etc/ceph/ceph.conf
chmod 644 /etc/ceph/ceph.conf
# 下载密钥
ssh {user}@{mon-host} "sudo ceph fs authorize foo client.foo / rw" | sudo tee /etc/ceph/ceph.client.foo.keyring
chmod 600 /etc/ceph/ceph.client.foo.keyring

# 安装ceph-common 并确认是不是安装成功
apt install ceph-common -y

stat /sbin/mount.ceph
mount -t ceph foo@.foo=/ /mnt/mycephfs     # 第一个foo是上边创建的密钥时候的本地用户，第二个foo是文件系统名称

# 永久挂载
foo@.foo=/      /mnt/mycephfs      ceph   mon_addr=192.168.88.101:6789/192.168.88.102:6789/192.168.88.103:6789,noatime,_netdev

二、NFS

• 1、创建NFS守护进程（文件系统用的cephfs 的foo）

# 放置NFS守护进程在host02 03上，
ceph orch apply nfs foo --placement="2,host02,host03"

• 2、挂载

# 挂载
sudo apt install nfs-common
sudo mount -t nfs 192.168.88.102:/nfs /mnt/nfs1


# 永久挂载
192.168.88.102:/nfs  /mnt/nfs1  nfs  defaults,_netdev  0  0

• NFS的集群设置

  • 官网文档

# 挂载 有几点需要注意，就是如果指定的host 已经开启过nfs进程，就不能再开启了会报错，然后端口也不能占用。
ceph nfs cluster create foo3 --placement="2,host01,host03" --ingress --virtual_ip="192.168.88.199" --ingress-mode=haproxy-standard   --port=28000

# 删除集群nfs
ceph nfs cluster rm foo3


# 查询 
ceph nfs cluster ls   #：列出所有集群。
ceph nfs cluster info foo3    #：查看 foo3 集群详情。
ceph orch ps | grep nfs     #检查 NFS 守护进程。
ceph orch ps | grep -E 'haproxy|keepalived'    # ：检查 Ingress 服务。
ceph nfs export ls foo3     # 列出导出。
ceph nfs export info foo3 /nfsclu    #：查看导出详情。
# 到处一般在网页设置


# 客户机器挂载
# 如需安装
sudo apt install nfs-common

# 挂载单节点和集群
mount -t nfs 192.168.88.101:/nfs /mnt/nfs
mount -t nfs -o port=28000  192.168.88.199:/nfsclu /mnt/nfs1

# 永久挂载
192.168.88.102:/nfs  /mnt/nfs1  nfs  defaults,_netdev  0  0
192.168.88.199:/nfsclu  /mnt/nfs2  nfs  port=28000,defaults,nfsvers=4,_netdev  0  0

三、