各位佬,请教一个问题,我写了一个下载 ts 视频的爬虫,在电脑上,开了 30 个线程去下载,就能达到 6MB/s ,现在我把这个脚本放到斐讯 N1 盒子的 docker 容器上去下载,把线程修改成了 4 个,结果下载就很慢,有什么办法能提升呢,想请各位指点哈,斐讯盒子接了移动硬盘。感谢各位指点。这里可能是线程的原因,我想知道的是如何提升下载速度,感谢各位。
1
yzding 147 天前 via iPhone
你看看你接硬盘写入速度是多少
|
2
lulinihao 147 天前
电脑 4 线程速率是多少?
|
3
Mrrobot233 146 天前 via Android
b 站搜下携程相关的内容,具体的我也忘了,21 年写过,现在 python 不知道咋样了
|
4
su14772 146 天前
python 非最新版本的话,多线程有 GIL 锁,用不了多核心,意义不大。下载视频的爬虫,时长可能会很长,异步协程可以加速,但是应该也加不了多少。试试多进程+协程吧
|
5
gray0 146 天前
|
6
EndlessMemory 146 天前
也开 30 个线程
|
8
yagamil 146 天前
斐讯的 N1 盒子 usb2.0 质量不行。
|
10
lc1450 141 天前
换个思路呢,python 只负责解析下载链接,调用 aria2 下载,轻松跑满带宽。
|