1
Aliencn 2016-08-19 10:37:45 +08:00
我用 python 调度 rsync 同步,实现了数十万个文件,上 T 大小,上百个节点之间的非实时数据同步。
你这个文件级别,要做实时同步,做起来有点费脑。 不知道你业务场景,一个可能对你有用的方案就是把 12T 数据分散到不同机器上分别监控同步。 |
3
just4test 2016-08-19 11:25:41 +08:00
“之前采用的是自己写 java 程序扫库,将新增的文件 copy 到备份服务器,但有的文件在库里面是没有对应记录的,每增加一种该类型就需要修改程序,比较麻烦。 ”
不能走配置文件吗? |
4
julor 2016-08-19 11:42:37 +08:00 via Android
syncthing
|
5
jyf007 2016-08-19 11:56:28 +08:00 via Android
我提一个, hadoop ,是这样不能同步吗?,那我没有办法了
|
6
zado 2016-08-19 20:49:50 +08:00
看看能不能监听文件的产生者。
|