遇到同样的问题。目前准备用 iSCSI 磁盘阵列。

要看你具体的使用场景，高频访问还是低频访问，大量小文件还是少数大文件，对延迟要求是否苛刻，高可用和故障恢复有什么要求等等。比如低频附件就适合用对象存储或者 nfs ，数据库就适合直接用 local pv

我们用的 IBM Spectrum Scale

云厂商提供的 pv 、和 nfs

如果是国内，要不试试 xsky ？他家的 ceph 不错，相当于出事了有厂商兜底

1.存储有控制器和网络冗余机制。不然存储升级，网络维护等会很痛苦，需要停机窗口。
2.分布式存储或者传统存储用 nfs 或者 s3 或者 CSI 都 OK 。主流的硬件厂商都有，HPE/HUAWEI/DELL/Lenovo 等等。备份也比较方便。
3.自己搭建 ceph ，minio （高可用架构的）都 OK
3.群晖这种单体 nas 测试环境 OK 。生产环境比较头疼，升级重启等。

local pv

看你应用内部怎么用了，文件就 storage class+nfs ，也可以直接用 s3 。

cephfs

如果性能要求不高，推荐 ceph 或者 nfs ，如果是数据库，需要用到本地存储，可以了解下 https://github.com/topolvm/topolvm/blob/main/docs/design.md