最近做服务部署需要把一个软件仓库的文件夹整个下载下来, 部署文档里给的下载命令是这样的:
wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.1.0/redhat7/ -P /var/www/html/cloudera-repos
然而 wget 是单线程的, 下载着实在是太慢了, 只有 30 多 kB/s, 我用迅雷试了下也不支持把文件夹整个下载下来, 只能一个一个文件的下载
所以想请教一下各位, 有什么好的下载办法或者工具吗?
1
xunco 2021-01-18 16:36:37 +08:00 via Android 1
aria2 ?
|
3
goodryb 2021-01-18 16:47:05 +08:00 1
可以试试 Axel 和 wget 类似,支持多线程
|
4
Stoulla 2021-01-18 16:54:48 +08:00 via Android 1
Aria 2,直接默认配置都可以挺快的了。当然你这个只有 30k 不如考虑 export http_proxy?
|
5
dyxLike OP @Stoulla 标题没说明白, 我是想要向 wget 那样递归下载文件夹的同时又支持多线程的效果, 但是 aria2 好像不支持递归下载
|
6
jiezhi 2021-02-05 15:21:07 +08:00 1
这是国外服务器,下载慢也没办法。
所以我曲线救国了,把要下载的内容封装进 docker 服务,然后通过国内 docker 代理下载回来。 https://hub.docker.com/r/lencent/cdh/tags |