wget 怎么多进程下载列表文件

This topic created in 4220 days ago, the information mentioned may be changed or developed.

是这样的，爬了一堆图片的url，存在了一个列表list.txt里

直接使用wget -i list.txt，可以顺序地下载图片。可是我希望wget能够启动10个worker来完成这个列表的下载任务（每个图片不需要多线程），查了man没找到相关的选项，大家有什么解决方案吗?

wget

list.txt

列表

9 replies • 2014-12-23 11:29:22 +08:00

jackysc

Dec 22, 2014

用curl

line

Dec 22, 2014

之前，我都是分割文件，然后再下的。等更优方案

mogging

Dec 22, 2014

果断Axel啊

imn1

Dec 22, 2014

我是自写 python 多开 wget 进程
aria2c支持多线程，你可以改用aria2c下载

ToughGuy

Dec 23, 2014

ariac -c -sNUM -xNUM -jNUM -i url.txt

-j 参数是设置并发下载数量

ToughGuy

Dec 23, 2014

@ToughGuy

ariac 打错，应该是aria2c。
aria2c 绝对好用哦。

zwzmzd

Dec 23, 2014

@line
@imn1
@ToughGuy
aria2c满足要求，aria2c -i list.txt -j2，不过man中-j选项的解释有点模糊

@jackysc
@mogging
这两个软件我看了下好像不行

ToughGuy

Dec 23, 2014

@zwzmzd

Set maximum number of parallel downloads for every static (HTTP/FTP) URL

注意到 every static ... URL 就够明显了。

imn1

Dec 23, 2014

aria2c很强大，可以http/ftp/webservice/bittorrent
控制线程有两个参数，一个控制并发任务数，另一个控制每任务拆分的线程数（-j）
http://aria2.sourceforge.net/ 官网上有手册，应该比man容易理解些
aria2c可以写多个conf，用命令指定一个载入