V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Livid
V2EX  ›  搜索引擎优化

YisouSpider 是否支持 CrawlRate?

  •  
  •   Livid · 2014-12-10 13:22:48 +08:00 · 4352 次点击
    这是一个创建于 3617 天前的主题,其中的信息可能已经有所发展或是发生改变。
    这个爬虫是为阿里巴巴的 sm.cn 服务的吧?

    这里有在做神马搜索的同学么,你们家爬虫是否支持 CrawlRate 呢?

    我试着在 Google 里搜了一下 YisouSpider CrawlRate,只能找到我自己现在发的这个主题。
    10 条回复    2014-12-10 19:30:38 +08:00
    Livid
        1
    Livid  
    MOD
    OP
       2014-12-10 13:34:07 +08:00
    找到了这个:

    open.sm.cn

    但是收不到注册邮件啊?
    Livid
        2
    Livid  
    MOD
    OP
       2014-12-10 13:35:43 +08:00
    统计了一下日志,现在 YisouSpider 基本上在用每秒 5 次并发的频率在爬 V2EX 上的所有主题。
    Livid
        3
    Livid  
    MOD
    OP
       2014-12-10 13:41:33 +08:00
    为了给 V2EX 节约一些资源,下面这些 IP 只能先封 1 个月了:

    42.156.138.78
    42.156.137.78
    42.120.160.108
    42.156.139.78
    42.120.161.108
    42.156.137.108
    42.156.138.108
    42.120.160.78
    42.156.139.108
    42.156.136.108
    42.156.136.83
    42.156.137.83
    42.156.138.83
    42.156.139.83
    42.120.160.83
    42.120.161.83
    Livid
        4
    Livid  
    MOD
    OP
       2014-12-10 13:42:59 +08:00
    盛况如此:

    zjgood
        5
    zjgood  
       2014-12-10 13:44:22 +08:00 via Android
    L大不优化,蜘蛛都这么钟爱V站
    xinple
        6
    xinple  
       2014-12-10 13:50:54 +08:00
    是的,昨天我也遇到了,小站扛不住啊
    macken
        7
    macken  
       2014-12-10 14:14:33 +08:00
    直接用nginx把这个spider给干掉
    mikuazusa
        8
    mikuazusa  
       2014-12-10 14:27:01 +08:00
    mikuazusa
        9
    mikuazusa  
       2014-12-10 14:37:12 +08:00
    @Livid 顺手和同事反馈了,希望有用...
    kofj
        10
    kofj  
       2014-12-10 19:30:38 +08:00
    sm.cn蜘蛛很疯狂的。open.sm.cn注册进去让人感觉很无语。。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3629 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 04:22 · PVG 12:22 · LAX 20:22 · JFK 23:22
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.