几百万图片 url 转云存储，有什么好办法

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 2048 days ago, the information mentioned may be changed or developed.

老实说，是爬虫爬到的链接，对访问频率限制的比较严格。七牛云有直接存网络图片的能力，但看起来比较低级，效果也不行，几十张后就被拦截了。

付费解决方案也可以接受。

七牛云

URL

图片

老实说

13 replies • 2020-09-27 16:19:19 +08:00

Athrob

Sep 26, 2020

挂代理批量下载再上传

nvkou

Sep 26, 2020 via Android

该不会是煎蛋吧？

wakzz

Sep 26, 2020

搞 ip 代理池

M7w2kh5a58AhKlcT

Sep 26, 2020

找几个 IP 代理网站，抓下来，通过代理 IP 去爬。

友情提醒，可能违法，后果自负

gxlonline

Sep 26, 2020 via Android

用代理 ip，下一张图换一个 ip 。
有必要时，再换请求头，反爬绝大多数都是通过这些方式。
推荐酷鱼代理 ip，ip 量大，稳定。
https://kuyukuyu.com

zoharSoul

Sep 26, 2020

@gxlonline 你是酷鱼的推广?

还是单纯路人?

xchaoinfo

Sep 26, 2020 via Android

有时候你加个 host ua 能多爬一会儿

liuxu

Sep 26, 2020

@Livid 5 楼推广号，gxlonline

cat

Sep 27, 2020 via iPhone

@zoharSoul 看他的回帖记录就知道了

JasperYanky

Sep 27, 2020

爬下来给七牛寄硬盘

jowan

Sep 27, 2020

@liuxu 点开这个号基本都是回复要用到代理池的话题
代理 IP 不也是解决问题付费方案的一种吗
你这报告打的意义是什么

liuxu

Sep 27, 2020

@jowan 打这个报告的意义是为了帮助 Livid 更好的维护 v2ex

Livid

MOD

PRO

Sep 27, 2020

@liuxu 谢谢举报。那个账号已经被彻底 ban 。