如何更高效的下载百万张图片

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 2800 days ago, the information mentioned may be changed or developed.

如题~

高效

下载

图片

题

6 replies • 2018-09-08 21:00:23 +08:00

May725

Sep 7, 2018

压缩，分割，多请求？
给的描述信息太少了

qwertyegg

Sep 8, 2018

我的一个笨办法

#!/bin/bash
grab(){
for ((i=$1+1; i<= $1+1000; i++))
do
wget img_url -O ./img/$i.png
done
}

grab_task(){
grab $1 &
grab $1+1000 &
grab $1+2000 &
grab $1+3000 &
grab $1+4000 &
grab $1+5000 &
grab $1+6000 &
grab $1+7000 &
grab $1+8000 &
grab $1+9000
}

grab_task_level3(){
grab_task $1 &
grab_task $1+10000 &
grab_task $1+20000 &
grab_task $1+30000 &
grab_task $1+40000 &
grab_task $1+50000 &
grab_task $1+60000 &
grab_task $1+70000 &
grab_task $1+80000 &
grab_task $1+90000
}

grab_task_level3 100000 &
grab_task_level3 200000 &
grab_task_level3 300000

delectate

Sep 8, 2018

生成列表，交给 aria2 即可。

XxxxD

Sep 8, 2018

额，我说一个偏的，获取图片 url 链接，然后 subprocess call IDM 成队列下载，比 requests, with open, write 快，wget 试了下，window 下报错，无解……

sola97

Sep 8, 2018 via Android

交给 aria2

lihongjie0209

Sep 8, 2018

先换一个固态硬盘, 我怕你硬盘是瓶颈