如题,假如我要下载一个 python 文件,但是我发现这个文件同时存放在华为,腾讯,阿里,亚马逊,豆瓣等地址.
想问下,代码怎么写,可以保证下载速度最快?
因为文件都是一样的,所以,可以同时从 5 个地方一起拉取,然后在本地拼合还是怎么解决呢?
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2115 days ago, the information mentioned may be changed or developed.
 |
bzjJan 20, 2021
1
2 种思路
1.客户端发请求 ping5 个地址获取响应时间，找到最快的。 2.记录客户端的 ip 获取位置，跟 5 个地址比较，选择最近的。 |
 |
takemeawayJan 20, 2021
2
python 能有多大？？
用视频做例子吧，实际上下载跟你本地网速还有服务器网速相关，光谈一边没意义。 如果你的网速小于或等于服务器网速，那么直接从一个地方下载就行了。 如果你的网速大于服务器网速，那么根据比例来加服务器，服务器文件做切片，分开下载，完了拼接起来。 要保证速度最快就是让自己的电脑速度跑满即可。 |
 |
imdongJan 20, 2021
3
如果支持断点续传，则获取文件大小后，本地分成若干小块。
然后每个源下载不同的块，这就类似 BT 下载了。 |
 |
zictosJan 20, 2021
4
文件都是一样的，为何又要拼合
|
|
zictosJan 20, 2021
5
如果每个地方下一部分也无法超过你的最大网速，直接一个地方多线程下载就行，除非有限速
|
 |
snowhunterJan 20, 2021
6
距离最近就差不多了、比如中国就从阿里下，美国就从 aws 下。
或者电信从电信机房，联通从联通机房。 真的要考虑下载问题适合把文件配置在 CDN 上面，CDN 自动把你做这些分类 |
 |
heixiaobaiJan 20, 2021
7
|
 |
laumm1314Jan 20, 2021
8
根据 http 断点续传协议按照文件大小分为五个部分，分别从五个地方下载，最后写个 python 脚本合并
|
 |
x66Jan 20, 2021
9
如果都支持断点续传。
1.大多数情况下服务器带宽大于本地带宽，选一个最快的服务器多线程下载就好了 2.如果服务器带宽小于本地带宽，那才有必要从多个服务器分块下载 |
 |
DeeCheungJan 20, 2021 via Android
10
子进程 aria2c 多源
|
 |
deorthJan 20, 2021
11
libaria2
|
 |
q197Jan 20, 2021
12
aria2 支持多个来源一起下
|
 |
13
其实就是迅雷的镜像加速，但是缺点是只要一个源的文件损坏你最终下载的必定是损坏文件，你还排查不出哪个源有问题。（我就用这招恶心迅雷盗链 v🤣
|
1 |
ikJan 20, 2021 via iPhone
14
没错，就是 aria2
|
 |
15
p2p 下载，做个 bt 种子，关闭 dht
|
 |
msg7086Jan 21, 2021 via Android
16
一个 Python 文件要搞那么复杂嘛，又不是小片片。
|
 |
tankrenJan 21, 2021
17
这是什么神奇需求？几个 G 的 python 文件？
|
 |
no1xsyzyJan 21, 2021
18
aria2 多源
如果担心 #13 的问题，考虑下把下载信息写成 meta4 文件，可以进行块级校验。 当然，BT 也行，添加 HTTP 上游，也能块级校验。 |
 |
xiaoqiao24Jan 25, 2021
19
1. 本地带宽<服务器带宽（华为,腾讯,阿里,亚马逊,豆瓣等地址），随便找个服务器下载。因为这些服务器我认为大多都会做最近节点匹配，让你下载最快。
2. 本地带宽>>服务器带宽，那就将文件切割，然后分开下载，最后拼接。 |
Select Language