这是一个创建于 2727 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
wxg4net 2017-05-30 06:52:30 +08:00
如果是 scrapy 获取到文件地址，然后用 axel 下载的话，应该是可以的
|
 |
2
shoaly 2017-05-30 08:31:49 +08:00
scrapy 先获取到 下载地址之后, 导出成 axel 需要的 多文件下载 txt 吧, , 然后开一个命令行批量下载.
为什么要这样操作呢, 因为文件下载可能会卡住, 可能会失败, scrapy 去写这部分的代码很多余. axel 本身就自带错误处理功能, 不用再造轮子 |
 |
3
xiaoyu9527 OP @shoaly
@wxg4net 我有几个功能需要支持。 比如链接是 http://www.123.com/123/123/123.jpg 我希望保存为同样的路径 另外 axel 支持加文件头么？ 有些网站限制了头访问 |
Select Language