持久化之NFS


NFS

一、安装 NFS 服务器

# CentOS7.9 服务端节点安装:
yum -y install nfs-utils

# Ubuntu22.04 服务端节点安装:
# apt-get -y install nfs-kernel-server 

mkdir /nfs-{1..6}

# 编辑/etc/exports,配置nfs服务
vim /etc/exports
/nfs-1 *(rw,no_root_squash,no_all_squash,sync)
/nfs-2 *(rw,no_root_squash,no_all_squash,sync)
/nfs-3 *(rw,no_root_squash,no_all_squash,sync)
/nfs-4 *(rw,no_root_squash,no_all_squash,sync)
/nfs-5 *(rw,no_root_squash,no_all_squash,sync)
/nfs-6 *(rw,no_root_squash,no_all_squash,sync)

# rw 表示客户端对共享的文件系统有读写权限。
# no_root_squash 表示在客户端使用 root 权限时,其权限不会被映射到匿名用户,root 拥有对共享目录的完全访问权限。
# no_all_squash 表示在客户端连接时,所有用户在 NFS 共享目录中的权限都将被保留。
# sync 表示 NFS 服务器将在写入完成之前等待数据被存储到磁盘上。

systemctl enable nfs-server
systemctl restart nfs-server

# Ubuntu重启服务
systemctl restart rpcbind.service
systemctl restart nfs-kernel-server.service 
systemctl restart nfs-utils.service 
systemctl restart nfs-server.service 
# 增加NFS-SERVER开机自启动
systemctl enable nfs-server.service 

# CentOS7.9 客户端节点:
# 客户端模拟挂载[所有k8s的节点都需要安装客户端]
# centos
yum install nfs-utils
# 或者(ubuntu)
# apt-get install nfs-common

systemctl enable nfs-server
systemctl restart nfs-server
# 查看nfs节点
showmount -e 192.168.8.201
        Export list for 192.168.8.201:
        /nfs-6 *
        /nfs-5 *
        /nfs-4 *
        /nfs-3 *
        /nfs-2 *
        /nfs-1 *

二、部署 PV

vim pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv001
spec:
  capacity:
    storage: 2Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfs-1
    server: 192.168.8.201
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv002
spec:
  capacity:
    storage: 2Gi
  accessModes:
    - ReadOnlyMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfs-2
    server: 192.168.8.201
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv003
spec:
  capacity:
    storage: 2Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfs-3
    server: 192.168.8.201
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv004
spec:
  capacity:
    storage: 4Gi
  accessModes:
    - ReadWriteOnce
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfs-4
    server: 192.168.8.201
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv005
spec:
  capacity:
    storage: 4Gi
  accessModes:
    - ReadOnlyMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfs-5
    server: 192.168.8.201
---
apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv006
spec:
  capacity:
    storage: 4Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs
  nfs:
    path: /nfs-6
    server: 192.168.8.201

133.png

三、创建服务并使用 PVC

vim statefuset.yaml

apiVersion: v1
kind: Service
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  ports:
  - port: 80
    name: web
  clusterIP: None
  selector:
    app: nginx
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: web
spec:
  selector:
    matchLabels:
      app: nginx
  serviceName: "nginx"
  replicas: 3
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: docker.io/nginx
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 80
          name: web
        volumeMounts:
        - name: www
          mountPath: /usr/share/nginx/html
  volumeClaimTemplates:
  - metadata:
      name: www
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: "nfs"
      resources:
        requests:
          storage: 1Gi

创建后我们来看一下效果,首先看一下 Pod 的创建过程:

134.png

然后我们来看一下 PV 的状态:

135.png

通过上述实验截图,我们发现,我们定义了三个副本,但是只有两个副本处于 “running” 的状态,还有一个处于 “pending” 的状态,这是因为,我们定的 PV 的访问模式为 “ReadWriteOnce” , 以单个节点以读/写模式挂载,我们在创建PV 的时候只创建两个模式为 “ReadWriteOnce” 的 PV ,所以第三个 Pod 没有可用的 PV 进行挂载,所以创建不成功。

还有,我们要注意一下 StatefulSet 控制器,在创建的时候它是一个一个按照顺序的进行创建,在删除的时候,也是有序进行的删除。

136.png

四、PV 资源回收

我们将由 StatefulSet 控制器创建的 Pod 进行删除操作,然后我们在查看一下我们的 PV 的状态:

137.png

这里,我们可以看到,由 StatefulSet 控制器创建的 Pod 已经全部删除了,但是我们的 PV 资源还没有释放,这是因为我们回收策略的原因所导致的,那么我们来手动回收一下:

通过命令 kubectl edit pv nfs-pv001 来将 “claimRef” 字段进行删除,然后查看下 PV 状态。

删除 “claimRef” 前:

138.png

删除 “claimRef” 后:

139.png

然后查看下 PV 的状态:

140.png