刚才去七牛想把对象存储的东西迁移到别家,因为东西也不是很多,就想直接用 web 把文件都下载就好了。。
看了一下文件列表可以全选,而且还有批量下载,
我以为是会生成一个压缩包(像 baidu 网盘一样)
结果竟然是一个文件开一个新标签。。
绝了!
1
opengps 2021-05-12 18:34:06 +08:00 2
七牛只是对象存储,说到底只是硬盘跟网络的组合,cpu 使用很低,打成压缩包是需要额外 cpu 资源的,有成本
|
2
ch2 2021-05-12 18:35:33 +08:00
如果一个功能设计出来就很难用,其实就是不希望你去用
|
3
dingdangnao OP @ch2 确实可能不是这么用的,但是给一个限制 比如小于 10 个 20 个文件才能批量下载啥的 会比较好一点吧。。
|
4
pigmen 2021-05-12 18:47:43 +08:00
确实有点坑,之前想删个 bucket,结果里面 8 亿多个文件我要一个一个删掉才能删掉这个 bucket 。。。。
|
5
xmumiffy 2021-05-12 19:03:30 +08:00 via Android
所有 oss 都兼容 aws 格式,找个 aws 客户端转就行了
|
7
dingdangnao OP @xmumiffy 一共就几百个文件,没想那么麻烦😂
|
8
aureole999 2021-05-12 20:17:29 +08:00
@opengps 只用 tar 归档的话好像用不了太多 CPU ?
|
9
opengps 2021-05-12 20:23:45 +08:00
@aureole999 我换个说法你就理解我说的意思了,对象存储约等于没有 cpu,所以想要实现打包服务,本身已经算额外的资源了
|
10
codehz 2021-05-12 21:14:48 +08:00 via Android
(也不是不可以前端压缩,反正都要下载完整的(
|
11
BeautifulSoap 2021-05-12 21:22:47 +08:00
赞同 1L,2L 的说法,有的功能真的就是实在不想做,但是为了应付那种“你可以做的烂但不能没有”的人的需求的才勉强做的
|
12
horseInBlack 2021-05-12 21:35:16 +08:00
有 API 接口的,官方也有命令行工具,但是走的就是你自己的流量了,可能会产生额外的流量费用
|
13
locoz 2021-05-12 23:10:02 +08:00 via Android
对象存储都这样吧…毕竟服务器上打包的话还得准备点缓存空间给你用,和对象存储得是分开的另一套东西了,成本会增加,使用率还不一定高。像阿里云是通过提供客户端的方式来解决的,批量下载的时候客户端会自己控制并发量之类的排队下载。
|
14
x86 2021-05-12 23:40:36 +08:00
七牛有 API 可以打包的呀
|
15
no1xsyzy 2021-05-12 23:47:04 +08:00
@aureole999 @opengps 先不要说 CPU,这个功能首先有人写吧!
而且整体而言是存储和流量收费,这样一个功能可能拿来 DoS ( L7 ?这我分不清 L 了) 比如上传十个随机数据文件,并且以 2^10-1 种方式要求数据,并瞬间断开链接,瞬间就是 1023 倍的存储放大和大量的空耗 CPU 。流式处理的话可能缓解一点,但也免不了很多问题。 |
16
cxsz 2021-05-13 15:10:48 +08:00
七牛用官方提供的 sdk,调用 api 可以批量下载
|