这是一个创建于 885 天前的主题，其中的信息可能已经有所发展或是发生改变。
网络环境
加拿大服务器公网 10G 带宽 国内服务器公网 5G 带宽
遇到的问题
由于链路距离过长，直接下载速度只能达到 100Mbps
以了解过的解决方法
- 购买阿里云 OSS ，通过闪电立方将数据传输到阿里云 OSS 美国节点上，然后数据内部同步到国内的 OSS 节点，最后用国内服务器下国内 OSS 节点上的数据，这个方案价格太高，需要支付存储包流量包费用近 20W
- 购买阿里云 CDN 服务，这个方案能否实现还不清楚
第 1 条附言 · 2022-06-10 10:26:18 +08:00
感谢各位的解答。首先200T的数据是确有其事并非杜撰，其次最新进展是已经联系香港电信运营商开通一台1Gbps带宽的服务器进行测试，加拿大到香港最大带宽能达到多少还需测试，如果能跑满1Gbps就将国内服务器寄过去下载好再托人带回国内，最后说明一下我的测试方法
- 用speedtest测试线路带宽是否达标
- 从香港节点用axel多线程下载加拿大的数据
第二点应该用iperf3测试香港到加拿大节点带宽，但是加拿大运营商负责人没有同意使用iperf3测试
各位除网络链路之外可能会提到的瓶颈
- cpu是48核心的处理器，所以cpu性能是够的
- 磁盘做了阵列，写入速度能达到16Gbps/s（注意是小b，换算成大B是2GB/s）
 |
101
phub2020 2022-06-08 21:52:42 +08:00
@fs418082760 鬼才。
|
 |
102
xio 2022-06-08 21:59:09 +08:00 via iPhone
Google Workspace Enterprise Standard 了解一下，无限存储，rclone 上传，用 SA 账户，然后国内用梯子下
|
 |
103
geekvcn 2022-06-08 22:06:37 +08:00 via iPhone
说预算
|
 |
104
jdjx 2022-06-08 22:18:01 +08:00
期待楼主分享后续
|
 |
105
luoshengdu 2022-06-08 22:54:08 +08:00  1
@Xusually 全新不拆封的硬盘和拆了的硬盘待遇不同；单单国内，往新疆发存储介质，全新的顺丰快递会考虑下再拒绝你，如果发拆封的存储介质顺丰快递会直接拒绝你
|
 |
106
bclerdx 2022-06-08 22:58:34 +08:00
@luoshengdu 理由呢？
|
 |
107
Weixiao0725 2022-06-08 22:58:43 +08:00
@hoythan 他这种数据我估计肯定再 Linux 服务器上，说不定连个 GUI 都没有，咋上传
|
|
108
luoshengdu 2022-06-08 23:01:47 +08:00
@bclerdx 搜 第四部新疆反恐纪录片丨打击暴恐音视频，是他们守护了新疆的网络安全 http://news.cnr.cn/native/gd/20210405/t20210405_525454427.shtml
|
 |
109
IDAEngine 2022-06-08 23:08:20 +08:00
谷歌云盘无限容量，存上去就行了，我的谷歌盘都存了 15PB
|
|
110
Weixiao0725 2022-06-08 23:10:34 +08:00
我觉得简单点，你直接找本地回国的人带回来吧，你肯出个几万块，肯定大把人愿意带的。记得数据加密就行。网友说的各种文件拆分，中转，再下载，问题是你上传还是单节点上传吧，依然很慢。
|
 |
111
serafin 2022-06-09 01:52:16 +08:00
你国内服务器国际出口能达到 5Gbps 是个问题
|
 |
112
ryd994 2022-06-09 01:56:15 +08:00 via Android
@lslqtz #56 这是个点对点的需求，但是通过其他服务器转发，可以把它变成多点对多点的传输，就可以绕过运营商限速。
|
 |
114
levenwindy 2022-06-09 02:29:15 +08:00 via Android
没有机密资源的话，租 /借一个 gdrive 无限量，200t 流量的机场，目前这样性价比高
|
 |
115
dann73580 2022-06-09 04:10:52 +08:00 via iPhone
其实找个到你国内服务器网速好的云厂商中转就可以，然后选个方便断点续传的方式去下载就好。链路质量差可以直接解决这个问题。
或者租几个按照小时付费的服务器，用基于 p2p 的同步协议，比如 syncthing 就行。 |
 |
116
seki 2022-06-09 04:51:46 +08:00
要不要看看 aws snowball ，或者 azure data box ，虽然也不便宜
|
 |
117
mingl0280 2022-06-09 06:09:47 +08:00 via Android
@j0ck1e 硬盘有数据不怕，报关就行。
这种大容量数据传输请不要考虑任何方案的在线传输，丢十个字节你哭去吧。 |
 |
118
vhus 2022-06-09 06:13:12 +08:00
1.公开报价的服务肯定不便宜，找一些中小型的 IDC 问问，单独谈价格，应该能省至少 50%的费用。如果国内自己有存储设备应该还能再便宜，无非是加点运费。可以谈使用时段，不占用高峰时期带宽。
2.LTO9 磁带理论上能有 45T 容量（压缩后），两端的磁带机想办法租用（一般去咨询设备经销商），这个可能会最便宜。 |
 |
119
liuidetmks 2022-06-09 08:51:52 +08:00 1
用磁带，磁带便宜，搜了下 30T 1k ，只需要 7 个，
加上运费，总共不超过 1w |
 |
120
Inuyashaaa 2022-06-09 09:13:37 +08:00
我们做过这种跨境海亮数据传输的项目，最直接的方法还是国内云服务器和加拿大服务器直接对传，可以用 cloudendure 这种备份工具来传输，也可以用 IBM Tsunami 这类工具。这样能最大程度保证数据一致性和数据安全性。如果数据不重要 /可丢失部分数据 /不怕外泄，采用邮寄硬盘的方式就最快
|
 |
121
Ciallo 2022-06-09 09:20:09 +08:00
@liuidetmks #119 但是磁带机很贵，而且速度也很慢
|
 |
122
salmon5 2022-06-09 09:33:57 +08:00
嫌贵就不要了吧
|
|
123
liuidetmks 2022-06-09 09:40:16 +08:00
@Ciallo 刚在京东看了下，惠普磁带宣称的速度是 860G 每小时，速度不算慢了吧，磁带机是不是可以租一个呢
|
|
125
liuidetmks 2022-06-09 09:44:08 +08:00
@Ciallo https://img1.mydrivers.com/img/20200630/s_1bfe3f76d3d94e869123e2a028c40f49.png 这个图，竟然还有 2G/s 的磁带。
|
|
126
Ciallo 2022-06-09 09:51:55 +08:00
@liuidetmks #125 之前在 B 站看过翼王搞过磁带机，老款的，新款的就不清楚了，估计价格不美丽
|
 |
127
lrzsw2008 2022-06-09 09:52:43 +08:00
硬盘...
20T 的硬盘你都要 10 个，在线方案我觉得成本更高且不可靠。 硬盘你丢包率 50%，你也只不过是 20 块硬盘+两次运输费用。 或者上面说的磁带，容量比硬盘更大，缺点是两边你都需要租用设备 |
 |
128
runntuu 2022-06-09 09:57:06 +08:00
两个方案：
1. 阿里云 OSS+CDN： https://help.aliyun.com/document_detail/123227.html 2. 阿里云 OSS+跨区域复制： https://help.aliyun.com/document_detail/31864.html > 先把 200T 数据上传到阿里云 OSS 的加拿大站点，然后通过跨区域复制（内网）到阿里云国内站点 |
 |
129
mosliu 2022-06-09 09:57:48 +08:00
带硬盘吧。。。建议，双备份，三备份。分开寄
伪装新的，邮寄应该最便宜 不过说实话 硬盘光拷贝 200T 也要好久时间。。。 |
 |
130
hankai17 2022-06-09 09:58:55 +08:00
打电话 口述 01 编码
|
|
131
mosliu 2022-06-09 10:04:07 +08:00
或者 SSD 以 1T 100$ 计算
200T 就要 2w$ 这个抗震好的多 包上 10 层海绵 2 备份 大概 4W$ 这 4w 后续也可以用，或者 从 V2 上打个 8 折再便宜下 V2er 回收个 80% 总共也就是几 k$的花费。 |
 |
132
DKR 2022-06-09 10:04:18 +08:00
为什么这个话题时常出现呢，之前记得也有这类话题的讨论。
|
 |
133
XiaoBaiYa 2022-06-09 10:13:22 +08:00
18T 现在一个也才 1800.需要买 12 个，2W 块搞定
|
|
134
XiaoBaiYa 2022-06-09 10:16:06 +08:00
BT 和 PT 的方式个人觉得是最靠谱的，租几个带宽高的服务器，成本很低
|
 |
135
mayli 2022-06-09 10:40:57 +08:00 via Android
链路长不是带宽利用率低的直接原因
即使 300ms 延迟也可能跑满全部带宽 核心问题是缺少可以跑满的高质量线路 尤其是国内 解决了线路 QoS 质量，传输这个没有什么问题 |
 |
136
rexion 2022-06-09 10:58:33 +08:00
前面有人提到微软的实体硬盘数据传输，亚马逊 aws 也有，叫 snowmobile ，可以了解一下。
|
|
137
mayli 2022-06-09 11:02:31 +08:00
我觉得题主需要说明下预算和预期的时间
不然不好估算 最便宜的话慢慢传就好了 预算出来了 就方便估计技术路线 |
 |
139
xuelu520 2022-06-09 11:18:03 +08:00
1.刻蓝光光盘
2.磁带 3.硬盘 然后人肉或快递回国内。 |
 |
140
7colcor 2022-06-09 11:27:56 +08:00
想起亚马逊海量数据的运输服务（卡车运输）
|
 |
141
cctrv 2022-06-09 11:39:58 +08:00
Resilio Sync
慢慢跑 |
 |
143
461da73c 2022-06-09 12:28:39 +08:00
rm -rf * 解千愁。
|
|
144
levenwindy 2022-06-09 12:33:59 +08:00 via Android
@IDAEngine 应该是 Peter ？
|
 |
145
lbp0200 2022-06-09 13:02:25 +08:00
|
 |
146
ychost 2022-06-09 13:42:38 +08:00 1
做成种子，然后取名 《 2020-2022 高清无码合集》，发 P 站
|
 |
147
skyphone001 2022-06-09 13:42:54 +08:00
是啥数值，能这么大。运回来有啥用？还是只是随便说说
|
 |
148
jsutfun 2022-06-09 13:57:20 +08:00
插眼。以前 100T 的数据都是让人从国外下载下来，然后在寄过来的。看看有啥好的解决方案没有
|
 |
149
ShallowAi 2022-06-09 14:18:39 +08:00
便宜和稍微迅速的方案：购买磁带库和磁带然后邮寄。
中等方案：购买一定数量的 16TB 的机械硬盘然后邮寄。 顶级方案：购买专线 永远不要低估一辆满载硬盘的汽车的带宽。 |
 |
150
fiht 2022-06-09 14:30:11 +08:00
套层免费的 Cloudflare CDN 试试？
|
 |
151
i3x 2022-06-09 14:53:44 +08:00 via Android 1
@ShallowAi chia 的时候，十几辆轻卡，120PB/4hours 。。。。jitter 1800s ，lost 0 ，TB 级别的巨型帧。
@jsutfun 千兆一个月也 300t+了。。。。拿电信宽带一两个月干几百 T 下行的 pt/bt 党不在少数。。。最近这种文章我越来越觉得是水经验的。。。。特别是那些玩歌库的。我群就有个大佬直播重建 600T 的库。。。光我的机器就被他薅了 50t 上行。。。 去年的时候我重建自己的服务器，用的就是美西副本。一台美西独服。。。重建镜像块文件直接加密，一个块 1.5TB ，开 http 服务。国内用迅雷精简版普通电信宽带多线程下载。。。速度并没有什么问题。做一个有社会责任感的人，下载机本身全局限速。凌晨 1 点后随随便便全局限速 600Mbps 一直是满的，下午 5 点暂停。。。1PB 的数据，同样的时间，用在网络传输来说成本明显比物理传输低。。。。 |
 |
152
explore365 2022-06-09 15:42:16 +08:00
留个联系方式
|
 |
153
Jet 2022-06-09 15:43:04 +08:00
楼主需要寻找的是一个线路商帮你找一条优化链路。
|
 |
154
qq2511296 2022-06-09 15:58:55 +08:00
走快递邮寄是最便宜的方法吧
|
 |
155
AS4694lAS4808 2022-06-09 16:28:22 +08:00
13 个希捷酷鱼 16T ，分批走 UPS 之类的，估计几 W ？
考虑到海关问题，AWS 的 snowball 传到香港，再从香港下载人肉来两趟带回来？ |
 |
157
Aaron325 2022-06-09 16:52:59 +08:00
试试快递吧
|
 |
158
huihuilang 2022-06-09 18:42:04 +08:00 via Android
阿里云盘超级会员，20T 的空间，买 10 个就行。。。每个买一个月就可以了
|
 |
159
subing 2022-06-09 19:56:54 +08:00
建议还是拆成小文件传云盘之类的，大量文件下来会被墙
|
|
160
i3x 2022-06-10 01:08:06 +08:00 via Android
@subing 只要不是楼上有的人说的骚操作不会的。比如一直是一个地区的那么一些 ip ，就是一个地方的几条宽带，用 http 方式获取。。。。我都是这么备份的归档。。
|
 |
161
qyd0801 2022-06-10 02:43:19 +08:00 via Android
@huihuilang 即使是会员大量上传也很有可能会被限速
|
 |
162
liliass 2022-06-10 03:12:47 +08:00 via iPhone
去香港，找个人有 1Gbps 宽带的，用几天下载完毕
|
|
163
liliass 2022-06-10 03:17:10 +08:00 via iPhone
1. 咸鱼开帖，香港代下载。
2. 申请 上海电信 + 精品网 + 1Gbps 带宽，v2ex 里一推人在用精品网的 |
 |
164
xyjincan 2022-06-10 06:33:28 +08:00 via Android
用 udp 协议并行传输
|
 |
165
icetea12138 2022-06-10 09:47:49 +08:00
把文件名改成 xxx.avi 然后做成种子发到网上，你还不是满速下载？
|
|
166
vhus 2022-06-10 09:50:02 +08:00
比较好奇楼主最后选择了什么解决方案。
有进展后公布一下吧。 比较好奇，顺便学习。 |
 |
167
makusuofute 2022-06-10 11:55:29 +08:00
信鸽 IP 通讯（ IP over Avian Carriers, IPoAC ）
这样可以养一堆鸽子和存储卡进行数据传输 点对点传输 安全性有保障系列 emm |
 |
168
mandymak 2022-06-10 12:45:08 +08:00
@AS4694lAS4808 建议走澳门，香港现在回国还是要在酒店检疫。
|
 |
169
chijiao 2022-06-10 20:16:49 +08:00
200T 真不多,我用 onedirve,一个多月就上传了 100T, 还是国内的普通宽带, 你这 200T,开个 OneDrive, 多拉几条电信联通宽带,半个月就同步到国内了.
|
|
170
i3x 2022-06-10 20:53:30 +08:00 via Android
@vhus 钓鱼的水经验的而已。。。你们还真信。。。。这样的帖子今年发了多少个了。。都是这样热闹。。。。。说白了就那么几百 t ，http 都可以了。。。。嫌慢就用断点续传的多线程下载软件。。。听着很高端？迅雷。甚至更古董的红色的。。。
|
 |
172
datafeng 2022-06-11 10:47:03 +08:00
寄硬盘的难点在两边海关吧。。。估计得走私才行:)
|
 |
173
linxijun 2022-06-13 21:40:22 +08:00
买个威联通的 nas ，走 qsync 或 hybridmount 和 hbs 3 ，电脑上安装 qudedup 加解压，无限容量，威联通在全球各地都有 cdn ，专门给 qudedup 用的，最适合楼主的需求了，虽然要另外花钱和买另外的 nas
|
 |
174
yinheli 2022-06-20 17:49:31 +08:00
> 2. 购买阿里云 CDN 服务，这个方案能否实现还不清楚
可行，但是也很慢，我们在用这个，CDN 的镜像回源，把几十 T 的数据，缓慢的回源到了阿里的 OSS ，应该是不太适合你这种大规模迁移。你要是说阿里云闪电立方能解决，20w ，应该是合适了吧，因为就算你带宽超大，单算流量费都要 16 ，7 万了吧 |
Select Language