k8s nfs

### Kubernetes 使用 NFS 配置存储卷的最佳实践 #### 1. 动态配置 NFS 存储卷 为了在 Kubernetes 中动态配置 NFS 存储卷，通常会使用 `NFS-Subdir-External-Provisioner` 或类似的工具来实现自动化的 PV（Persistent Volume）创建过程。这种方案允许用户基于现有的 NFS 共享资源，在不手动干预的情况下完成存储分配。 以下是具体的操作流程： - **安装 NFS-Subdir-External-Provisioner**: 用户可以通过 Helm Chart 或 YAML 文件部署该组件到 Kubernetes 集群中[^2]。 - **定义 StorageClass**: 创建一个自定义的 `StorageClass` 对象，用于指定 NFS 提供程序的相关参数以及默认选项。例如： ```yaml apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: managed-nfs-storage provisioner: example.com/nfs-subdir-external-provisioner parameters: archiveOnDelete: "false" ``` - **验证部署状态**: 确认 `nfs-client-provisioner` 是否正常运行，可通过命令检查 Pod 的健康状况[^3]: ```bash kubectl get pods -n nfs-client-provisioner ``` #### 2. 手动挂载 NFS 卷 如果不需要动态配置功能，则可以选择静态方式绑定 NFS 资源至容器实例。这种方式适合于固定不变的工作负载或者测试环境下的简单集成需求。 操作步骤如下所示： - **准备 PersistentVolume (PV)**: 编写一份描述目标路径和服务地址的 YAML 定义文档并应用之： ```yaml apiVersion: v1 kind: PersistentVolume metadata: name: manual-nfs-pv spec: capacity: storage: 5Gi accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Retain nfs: path: /exports/data server: nfsserver.example.com ``` - **关联 PersistentVolumeClaim (PVC)**: 接下来声明 PVC 请求对应大小的空间并与上述 PV 进行匹配连接： ```yaml apiVersion: v1 kind: PersistentVolumeClaim metadata: name: manual-nfs-pvc spec: accessModes: - ReadWriteMany resources: requests: storage: 5Gi ``` 最后一步是在工作负载模板里引用这个 PVC 实现数据持久化支持。 --- ### 结合 Spark 和 Kubernetes 场景中的最佳实践 当涉及到像 Apache Spark 这样的大数据处理框架时，合理规划分布式计算节点之间的共享文件访问机制尤为重要。借助 NFS 可以为临时中间结果保存区域提供统一视图从而提升整体性能表现[^1]。 推荐做法包括但不限于以下几个方面： - 尽量减少单次读写的块尺寸以适应频繁的小规模 I/O 操作模式； - 利用多副本冗余策略增强可靠性防止因单一磁盘故障引发的任务失败风险； - 根据实际业务特点调整缓存命中率优化算法降低延迟开销； ```python from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("K8s-NFSSample") \ .config("spark.hadoop.fs.defaultFS", "file:///mnt/nfsshare/") \ .getOrCreate() ``` 以上代码片段展示了如何设置 Hadoop FileSystem 属性指向已挂接好的 NFS 目录位置作为输入/输出基址。 ---