V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xiyangyang
V2EX  ›  服务器

阿里云租几台机器做采集,有现成调度方案吗?

  •  
  •   xiyangyang · 2016-06-26 13:11:19 +08:00 · 4071 次点击
    这是一个创建于 3071 天前的主题,其中的信息可能已经有所发展或是发生改变。

    打算租几台阿里云的服务器采集数据,好处是:多 IP ,带宽有保证。 如果抓取的网站封 IP ,限时间,就再开一台云服务器。 不知道有没有一个动态调度的方案,发现 IP 被封了,再开一台服务器获得新 IP ,再抓取。阿里云提供接口做这个吗?

    18 条回复    2016-06-26 23:00:19 +08:00
    fcicq
        1
    fcicq  
       2016-06-26 14:23:12 +08:00
    封到 /16 的 block 的话就抓瞎了, 明摆着人家能看到你是租的
    l0wkey
        2
    l0wkey  
       2016-06-26 14:24:06 +08:00
    用弹性 IP
    ZGLHHH
        3
    ZGLHHH  
       2016-06-26 14:27:22 +08:00
    为什么不买拨号 VPS 呢
    rekulas
        4
    rekulas  
       2016-06-26 14:52:45 +08:00
    可以自己写脚本,封了自己申请 vps ,镜像复原

    但是还是没有代理来的方便便宜,直接购买代理多线程抓取,也不怕封价格也便宜
    lmaq
        5
    lmaq  
       2016-06-26 16:04:25 +08:00
    阿里云有 API
    crab
        6
    crab  
       2016-06-26 16:35:47 +08:00
    @rekulas 现在代理不管付费还是免费,大部分都是失效快响应慢。这种用带 ADSL 拨号的 VPS 是最合适的。
    odirus
        7
    odirus  
       2016-06-26 18:01:20 +08:00
    阿里的 API ? 反正我是挺讨厌的。

    但他有个弹性伸缩服务,能够定时伸缩服务器数量。制作好镜像,然后从镜像中安装系统

    但有个问题,他的最小时间粒度貌似是小时(前段时间验证的,现在不知道改没有)

    可以考虑一下国内其他的云,秒级调度 + 弹性伸缩,不知道青云是不是?好奇,求解答
    aheadlead
        8
    aheadlead  
       2016-06-26 18:06:36 +08:00
    @odirus 青云是的
    boter
        9
    boter  
       2016-06-26 18:28:45 +08:00 via iPhone
    直接买袜子多好
    nine
        10
    nine  
       2016-06-26 18:35:14 +08:00
    tangzhehao
        11
    tangzhehao  
       2016-06-26 19:14:20 +08:00
    @odirus 有谁家可以纵向弹性伸缩么?也就是增配不增量。
    @aheadlead
    aheadlead
        12
    aheadlead  
       2016-06-26 19:28:44 +08:00
    @tangzhehao 这连个 VPS 都可以吧… 青云肯定是可以的
    zava
        13
    zava  
       2016-06-26 19:58:17 +08:00   ❤️ 1
    不用这么麻烦吧,直接买一些 http 代理,便宜量又足。当然可用率是要打点折扣的。
    我用过的几个比较靠谱的 http 代理:

    1. 快代理: http://www.kuaidaili.com/
    2. 中国 IP 代理: http://cn-proxy.com/
    3. 酷伯伯 HTTP 代理: http://www.coobobo.com

    另外,如果都使用阿里云的 IP 进行采集,也不一定是 100%可靠,具体就不细说了……
    tangzhehao
        14
    tangzhehao  
       2016-06-26 19:59:48 +08:00
    @aheadlead 不是,要自动的,就像弹性伸缩一样,譬如监控连报 3 次 CPU>85%,那就立马升配一核。
    TangMonk
        15
    TangMonk  
       2016-06-26 20:06:33 +08:00
    青云关机只收取硬盘费用,不做 web 服务,只做采集的话可以定时关机,还是挺划得来的
    odirus
        16
    odirus  
       2016-06-26 20:49:01 +08:00   ❤️ 1
    http://www.freeproxylists.net/zh/

    这个代理质量高很多,快代理那个质量。。。买过,不会再买了。
    aheadlead
        17
    aheadlead  
       2016-06-26 21:59:33 +08:00
    @tangzhehao 阿里云有个 ESS 可以动态加机器数量(横向扩展)
    貌似也是支持你想要的纵向扩展 你可以试着去看看

    其实这个不难写啊 如果只是临时用用的话 一个 python 脚本也就搞定了
    moult
        18
    moult  
       2016-06-26 23:00:19 +08:00
    腾讯云,后台有弹性 IP ,可以随时变 IP~~
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2811 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 11:26 · PVG 19:26 · LAX 03:26 · JFK 06:26
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.