minger

minger

Ceph安裝使用記錄

Ceph 安裝記錄#

一、準備工作#

機器列表:

ceph0 192.168.100.40

ceph1 192.168.100.41

ceph2 192.168.100.42

# 三台機器都需要配置
#  關閉防火牆
systemctl stop firewalld 
systemctl disable firewalld 
# 關閉SELinux
setenforce 0
# 關閉圖形網路管理器
systemctl stop NetworkManager
systemctl disable NetworkManager 
# 配置主機名
hostnamectl set-hostname ceph0
# 修改hosts(用scp同步到其他節點)
vim /etc/hosts
192.168.100.40 ceph0
192.168.100.41 ceph1
192.168.100.42 ceph2
# 配置ssh免密登錄
ssh-keygen
ssh-copy-id ceph0
ssh-copy-id ceph1
ssh-copy-id ceph2

配置 yum 源,並同步到其他節點

vim /etc/yum.repos.d/ceph.repo

[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/x86_64/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1

[Ceph-noarch]
name=Ceph noarch packages
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/SRPMS/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc
priority=1

二、創建集群#

1. 創建集群配置目錄#

mkdir /etc/ceph

2. 安裝 ceph-deploy 部署工具#

yum -y install ceph-deploy

3. 創建 ceph 集群#

ceph-deploy new ceph0 ceph1 ceph2
# ls 
# 說明:
# ceph.conf 集群配置文件
# ceph-deploy-ceph.log 使用ceph-deploy部署的日誌記錄
# ceph.mon.keyring 驗證key文件

4. 修改配置文件#

[global]
fsid = 913835ff-cc9b-45d7-a243-f3978d3e0c53
mon_initial_members = ceph0, ceph1, ceph2
mon_host = 192.168.100.40,192.168.100.41,192.168.100.42
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

#對外開放網段
public network = 192.168.100.0/24

[mgr]
# 開啟WEB儀表盤
mgr modules = dashboard

5. 安裝 ceph#

ceph-deploy install ceph0 ceph1 ceph2
# 補充說明:如果網路不好的話,可以手動安裝ceph和ceph-radosgw ,好的話可以可以用 ceph-deploy install ceph0    ceph1    ceph2 命令來安裝。 ceph-deploy 命令會自動通過公網官方的源安裝。

yum install ceph ceph-radosgw -y

6. 初始化 monitor#

ceph-deploy mon create-initial

7. 同步管理信息#

將配置文件信息同步到所有 ceph 集群節點

ceph-deploy admin ceph0 ceph1 ceph2

8. 安裝 mgr#

管理守護進程,該組件的主要作用是分擔和擴展 monitor 的部分功能,減輕 monitor 的負擔,讓更好地管理 ceph 存儲系統,ceph dashboard 圖形管理也需要用到 mgr

ceph-deploy mgr create  ceph0 ceph1 ceph2

9. 安裝 rgw#

ceph-deploy rgw create ceph0 ceph1 ceph2

10. 創建 mds 服務#

ceph-deploy mds create ceph0 ceph1 ceph2

11. 使用 zap 命令清除磁碟信息準備創建 osd#

 ceph-deploy disk zap ceph0 /dev/vdb
 ceph-deploy disk zap ceph1 /dev/vdb
 ceph-deploy disk zap ceph2 /dev/vdb

12. 創建 OSD 磁碟#

ceph-deploy osd create --data /dev/sdb ceph0
ceph-deploy osd create --data /dev/sdb ceph1
ceph-deploy osd create --data /dev/sdb ceph2

13. 驗證#

ceph -s 
[root@ceph0 ceph]# ceph -s 
  cluster:
    id:     913835ff-cc9b-45d7-a243-f3978d3e0c53
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum ceph0,ceph1,ceph2 (age 18h)
    mgr: ceph0(active, since 17h), standbys: ceph2, ceph1
    mds: cephfs:1 {0=ceph1=up:active} 2 up:standby
    osd: 3 osds: 3 up (since 18h), 3 in (since 18h)
 
  data:
    pools:   2 pools, 192 pgs
    objects: 106 objects, 335 MiB
    usage:   4.0 GiB used, 26 GiB / 30 GiB avail
    pgs:     192 active+clean

三、開啟 dashboard#

1、開啟 dashboard 模組#

ceph mgr module enable dashboard

報錯:

Error ENOENT: all mgr daemons do not support module 'dashboard', pass --force to force enablement
解決:

yum -y install ceph-mgr-dashboard
那是因為沒有安裝 ceph-mgr-dashboard,在 mgr 節點上安裝即可

2、生成簽名#

ceph dashboard create-self-signed-cert

3. 生成證書#

openssl req -new -nodes -x509   -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650   -keyout dashboard.key -out dashboard.crt -extensions v3_ca

4. 啟動服務#

ceph mgr module disable dashboard
 
ceph mgr module enable dashboard

5. 設置訪問地址與端口#

ceph config set mgr mgr/dashboard/server_addr 192.168.100.40
 
ceph config set mgr mgr/dashboard/server_port 9001

6. 關閉 https#

ceph config set mgr mgr/dashboard/ssl false

7. 查看守護進程#

ceph mgr services

8. 設置管理面板登錄憑證#

echo "1234567890" >> ceph-password.txt
ceph dashboard set-login-credentials admin -i ceph-password.txt
# 通過http://192.168.100.40:9001/訪問

image-20230721162111692

四、使用 Ceph#

1、創建存儲池#

ceph osd pool create cephfs_data 128

ceph osd pool create cephfs_metadata 64

rbd pool init cephfs_data # 初始化 RBD 池

rbd pool init cephfs_metadata

2、查看存儲池#

ceph osd lspools

3、創建文件系統#

ceph fs new fs_test cephfs_metadata cephfs_data

4、查看文件系統#

ceph fs ls

5、查看 mds 狀態#

ceph mds stat

五、測試掛載#

yum install ceph-fuse

cat ceph.client.admin.keyring 

echo “ABCrM7lkDYZ8GxAA7SkHF7gcZIsFMR47LA8bsB==” >> admin.key

mount -t ceph ceph2:6789:/ /mnt -o name=admin,secretfile=/root/admin.key
載入中......
此文章數據所有權由區塊鏈加密技術和智能合約保障僅歸創作者所有。