1
jack80342 2022-10-20 08:26:15 +08:00 via iPhone 1
直接用 pv 、pvc 就可以,你是遇到什么问题了吗?
|
3
liunaijie 2022-10-20 08:36:06 +08:00 1
用 docker -v 把你本地数据挂进 pod 的某个目录
|
4
optional 2022-10-20 08:36:21 +08:00 via iPhone 1
使用 initialContainer 把数据下载进去,数据可以放 s3 等地方
|
6
julyclyde 2022-10-20 09:37:11 +08:00 1
pv 也不是“只能被”容器访问的啊
你也可以单独访问 pv 把内容放进去,然后再启动容器 |
7
ccde8259 2022-10-20 10:01:34 +08:00 via iPhone 1
这种场景为什么不用 HDFS+YARN……
|
8
winglight2016 2022-10-20 10:05:35 +08:00 1
数据在本地就 kubectl cp ,在云上就 curl/wget ,目的文件夹选 pvc 的挂载地址
如果长期大量存储,还是推荐 oss ,毕竟会便宜一些 |
9
sujin190 2022-10-20 10:52:09 +08:00 1
云平台的 k8s 都支持挂载自己的对象存储吧,比如阿里云的 ack 挂载 oss ,华为云 cce 挂载 obs ,如果数据在自己机器上的话装个 nfs ,pod 直接挂载 nfs 就行,当然这些都是网络访问的,你不单独购买的网络的话访问速度估计都不快,如果数据不经常变,比较好的是买块云磁盘,先挂载到某个机器上完成数据上传,之后卸载了 pod 再选择挂载该云磁盘就行,用 initialContainer 下载也行,不过数据比较多来回训练也太耗时了,而且你还的保证 pod 宿主机有足够硬盘才行
|
10
yyttrr 2022-10-20 11:36:09 +08:00 1
我们这边做法是训练前这一次的数据是确定的,存放在 oss 上,启动的时候有个 initContainer 负责把这个数据拉到一块盘上
|
11
YouRTBUG 2022-10-20 13:25:45 +08:00 1
kubernetes-csi 机制来导入外部存储, 我们的存储端是 ceph(s3), 所以用了 ceph-csi 通过 pod 里的 pv 和 pvc 概念挂载到 pod 中。
|
12
pandaxin 2022-10-20 19:09:09 +08:00
看下 juicefs
|
13
zhujq 2022-10-21 10:04:13 +08:00
看下 juicefs
|