打算租几台阿里云的服务器采集数据,好处是:多 IP ,带宽有保证。 如果抓取的网站封 IP ,限时间,就再开一台云服务器。 不知道有没有一个动态调度的方案,发现 IP 被封了,再开一台服务器获得新 IP ,再抓取。阿里云提供接口做这个吗?
1
fcicq 2016-06-26 14:23:12 +08:00
封到 /16 的 block 的话就抓瞎了, 明摆着人家能看到你是租的
|
2
l0wkey 2016-06-26 14:24:06 +08:00
用弹性 IP
|
3
ZGLHHH 2016-06-26 14:27:22 +08:00
为什么不买拨号 VPS 呢
|
4
rekulas 2016-06-26 14:52:45 +08:00
可以自己写脚本,封了自己申请 vps ,镜像复原
但是还是没有代理来的方便便宜,直接购买代理多线程抓取,也不怕封价格也便宜 |
5
lmaq 2016-06-26 16:04:25 +08:00
阿里云有 API
|
7
odirus 2016-06-26 18:01:20 +08:00
阿里的 API ? 反正我是挺讨厌的。
但他有个弹性伸缩服务,能够定时伸缩服务器数量。制作好镜像,然后从镜像中安装系统 但有个问题,他的最小时间粒度貌似是小时(前段时间验证的,现在不知道改没有) 可以考虑一下国内其他的云,秒级调度 + 弹性伸缩,不知道青云是不是?好奇,求解答 |
9
boter 2016-06-26 18:28:45 +08:00 via iPhone
直接买袜子多好
|
10
nine 2016-06-26 18:35:14 +08:00
|
11
tangzhehao 2016-06-26 19:14:20 +08:00
|
12
aheadlead 2016-06-26 19:28:44 +08:00
@tangzhehao 这连个 VPS 都可以吧… 青云肯定是可以的
|
13
zava 2016-06-26 19:58:17 +08:00 1
不用这么麻烦吧,直接买一些 http 代理,便宜量又足。当然可用率是要打点折扣的。
我用过的几个比较靠谱的 http 代理: 1. 快代理: http://www.kuaidaili.com/ 2. 中国 IP 代理: http://cn-proxy.com/ 3. 酷伯伯 HTTP 代理: http://www.coobobo.com 另外,如果都使用阿里云的 IP 进行采集,也不一定是 100%可靠,具体就不细说了…… |
14
tangzhehao 2016-06-26 19:59:48 +08:00
@aheadlead 不是,要自动的,就像弹性伸缩一样,譬如监控连报 3 次 CPU>85%,那就立马升配一核。
|
15
TangMonk 2016-06-26 20:06:33 +08:00
青云关机只收取硬盘费用,不做 web 服务,只做采集的话可以定时关机,还是挺划得来的
|
16
odirus 2016-06-26 20:49:01 +08:00 1
|
17
aheadlead 2016-06-26 21:59:33 +08:00
|
18
moult 2016-06-26 23:00:19 +08:00
腾讯云,后台有弹性 IP ,可以随时变 IP~~
|