在小规格 ecs 上部署了爬虫，想要同步数据到本地但是出带宽只有 1MB （学生优惠机）速度很慢，我在想如果我买多台这样的学生机（ 10 元每月比起带宽费用便宜多了），然后并发从多台小规格机器上拉取数据，不就可以达到更高的带宽下载了吗？多台学生机通过内网传输，拆分大文件为多个分片，然后我本地再并发从多台机器同时拉取多个分片再进行组装，这样的功能有现成的工具可以实现吗？
This topic created in 2064 days ago, the information mentioned may be changed or developed.
 |
1
ackoly Oct 9, 2020 via iPhone
切割成多个文件，分布在多个目录，nfs 挂载多台机子，然后用 rsync 同步就可以
|
 |
2
opengps Oct 9, 2020
如果不介意费用问题，可以先把文件内网传到 oss，然后走 oss 的公网流量（付费）下载
|
|
3
opengps Oct 9, 2020  1
你买多台学生机，需要分布在多个帐号下，内网并没有直接打通，所以这条路并不太好走，绕的太远了
|
 |
5
Rheinmetal Oct 9, 2020
搞个海外 vps 试试？ 说不定爬国内资源反而快
其实数据不多的话 oss 也不贵 |
 |
6
bowser1701 Oct 9, 2020 via iPhone
@opengps 学生机内网可以云企业网。
|
 |
7
Inn0Vat10n OP |
 |
8
swulling Oct 9, 2020 via iPhone
BT 做种下载就行，
|
|
9
Inn0Vat10n OP 10 台学生机也就 100/月，10M 带宽的单机费用。。。
|
 |
10
aheadlead Oct 9, 2020
@Inn0Vat10n #7 你也不说多少数据量…… 如果只有百来 G，妥妥的 OSS 快啊
|
 |
11
wjhjd163 Oct 9, 2020 via Android
学生机不能多开
要多开得多账号 不同账号内网不通 只能走公网 |
 |
12
supermoonie Oct 9, 2020 via iPhone
oss 不用想了
|
|
13
Inn0Vat10n OP @aheadlead 10GB/天左右
|
|
14
Inn0Vat10n OP |
Select Language