这是一个创建于 1497 天前的主题，其中的信息可能已经有所发展或是发生改变。
在小规格 ecs 上部署了爬虫，想要同步数据到本地但是出带宽只有 1MB （学生优惠机）速度很慢，我在想如果我买多台这样的学生机（ 10 元每月比起带宽费用便宜多了），然后并发从多台小规格机器上拉取数据，不就可以达到更高的带宽下载了吗？多台学生机通过内网传输，拆分大文件为多个分片，然后我本地再并发从多台机器同时拉取多个分片再进行组装，这样的功能有现成的工具可以实现吗？
 |
1
ackoly 2020-10-09 20:08:37 +08:00 via iPhone
切割成多个文件，分布在多个目录，nfs 挂载多台机子，然后用 rsync 同步就可以
|
 |
2
opengps 2020-10-09 20:11:24 +08:00
如果不介意费用问题，可以先把文件内网传到 oss，然后走 oss 的公网流量（付费）下载
|
|
3
opengps 2020-10-09 20:11:58 +08:00  1
你买多台学生机，需要分布在多个帐号下，内网并没有直接打通，所以这条路并不太好走，绕的太远了
|
 |
5
Rheinmetal 2020-10-09 20:20:45 +08:00
搞个海外 vps 试试？ 说不定爬国内资源反而快
其实数据不多的话 oss 也不贵 |
 |
6
bowser1701 2020-10-09 21:31:56 +08:00 via iPhone
@opengps 学生机内网可以云企业网。
|
 |
7
Inn0Vat10n OP |
 |
8
swulling 2020-10-09 21:35:11 +08:00 via iPhone
BT 做种下载就行，
|
|
9
Inn0Vat10n OP 10 台学生机也就 100/月，10M 带宽的单机费用。。。
|
 |
10
aheadlead 2020-10-09 21:40:56 +08:00
@Inn0Vat10n #7 你也不说多少数据量…… 如果只有百来 G，妥妥的 OSS 快啊
|
 |
11
wjhjd163 2020-10-09 22:10:43 +08:00 via Android
学生机不能多开
要多开得多账号 不同账号内网不通 只能走公网 |
 |
12
supermoonie 2020-10-09 22:24:58 +08:00 via iPhone
oss 不用想了
|
|
13
Inn0Vat10n OP @aheadlead 10GB/天左右
|
|
14
Inn0Vat10n OP |
Select Language