Linux 上有没有这样一种“写时复制”的文件系统或者工具？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

Distributions

› Ubuntu

› Fedora

› CentOS

中文资源站

› 网易开源镜像站

这是一个创建于 1264 天前的主题，其中的信息可能已经有所发展或是发生改变。

需求:

多个进程可以从同一个路径读取文件，这些进程也可以同时修改同一个文件
但是每个进程对文件的修改都是独立的，一个进程的修改不会影响到另一个进程的读写
每个进程修改的文件都被单独保存到自己的私有目录，但是对该进程透明，该进程感受不到文件路径的变化
不用 docker 这些容器来实现(好像用了也不行)
问题:
多个独立的进程(互相之间都认为自己是独占一个目录的)对同一个文件目录会产生大量读(只读文件)和少量写(日志文件)的操作，不想为每个进程单独复制一份各自的文件目录(数据量较大，而且进程的数量不定，会产生大量的重复复制)

第 1 条附言 · 2021-06-08 14:49:59 +08:00

overlayfs 跟 aufs 在大的二进制文件有修改的时候会发生全复制，pass 掉
只能试试 brtfs 跟 zfs 了

第 2 条附言 · 2021-06-08 21:09:42 +08:00

建立完 brtfs 分区后，用 cp -R --reflink=always -a SRC DEST
即可实现题中的需求，不足之处是 brtfs 本身性能有点差

进程

文件

修改

14 条回复 • 2021-06-09 00:11:58 +08:00

janus77

2021-06-08 11:03:36 +08:00

git ？

ch2

2021-06-08 11:07:39 +08:00

@janus77 读写是并行的，而且是二进制文件，git 不太行

no1xsyzy

2021-06-08 11:12:10 +08:00

CoW 的话，ZFS 和 Btrfs 都能通过 dedup 来做到。
除此以外也可以用 overlayFS ？

说实话，第一反应是内存，fork() 就是 CoW 的。

HUNYXV

2021-06-08 11:12:20 +08:00

估计得自己造轮子

XiaoxiaoPu

2021-06-08 11:14:15 +08:00

文件路径对进程透明，需要 chroot
linux 下支持写时复制的文件系统，可以用 Btrfs

粗略看可行的方案，是使用 Btrfs 的快照功能，要启动进程前，创建一个新的快照，chroot 快照，启动进程

thunderw

2021-06-08 11:21:51 +08:00

我感觉你想要的就是 docker 的 Union FS 啊。
https://en.wikipedia.org/wiki/UnionFS

SingeeKing

2021-06-08 11:28:20 +08:00

自己基于 FUSE 写一个不难，但不确定是否可以感知到读的进程

generic

2021-06-08 11:31:43 +08:00 via Android

overlayfs 。

jim9606

2021-06-08 11:45:37 +08:00

使用支持 Reflink 的文件系统，CoW 的文件系统是最佳方案（ ZFS 、BtrFS 甚至不需要打开 dedup 都能做到），非 CoW 文件系统中 OverlayFS 、XFS 也可以支持

不同程序先通过 cp --reflink=always 创建轻量副本，之后所有修改都放在私有副本上进行。

不过需要注意这些方法都不可避免产生文件碎片，虽然节省空间但 IO 性能可能会下降。