V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cy97cool
V2EX  ›  GitHub

github 不准 baidu 爬取 难道这就是 baidu 比 google 菜的原因

  •  
  •   cy97cool · 2017-11-07 12:56:00 +08:00 via Android · 3151 次点击
    这是一个创建于 2572 天前的主题,其中的信息可能已经有所发展或是发生改变。
    https://github.com/robots.txt

    翻到最下面,github 对没有列出的其他搜索引擎的 bot(包括百度)直接 Disallow: / 了

    难道这就是 baidu 比不上 google 的原因?
    11 条回复    2017-11-07 15:40:58 +08:00
    chenwenup
        1
    chenwenup  
       2017-11-07 12:59:08 +08:00   ❤️ 1
    这是 baidu 比不上 google 的表现吧,并不是原因。
    cy97cool
        2
    cy97cool  
    OP
       2017-11-07 13:01:53 +08:00 via Android
    @chenwenup 但反过来说 爬不了 github 的项目信息,用户想搜个 github 上的项目搜不到,自然更加比不上咯
    coolcoffee
        3
    coolcoffee  
       2017-11-07 13:03:35 +08:00   ❤️ 2
    stackoverflow 没有禁止百度, 百度依然比较难检索, 可能是爬虫在墙内,爬墙外比较慢, 然后为了用户体验就把它 KO 了
    oott123
        4
    oott123  
       2017-11-07 13:05:13 +08:00   ❤️ 2
    archive.org 看,github 曾经允许过百度爬取。

    https://web.archive.org/web/20150217105548/https://github.com/robots.txt
    https://web.archive.org/web/20150218110340/https://github.com/robots.txt

    github 在 2015 年 2 月 18 日移除了对百度蜘蛛的允许,我一开始觉得可能是和 GFW 大炮有关,后来查了一些 wiki 发现这个比 GFW 大炮还早,不知道是什么原因了。

    可能是 12306 抢票事件?
    MrSoda
        5
    MrSoda  
       2017-11-07 13:08:15 +08:00   ❤️ 3
    当年 DDOS github 的时候就是劫持的 baidu 的流量,应该是这个原因吧
    jjianwen68
        6
    jjianwen68  
       2017-11-07 13:10:58 +08:00
    加这个 bot 是不是要给 github 钱?
    Ellison
        7
    Ellison  
       2017-11-07 13:35:54 +08:00
    Disallow?说的好像百度遵守 robots 协议一样
    f2f2f
        8
    f2f2f  
       2017-11-07 13:37:33 +08:00
    @coolcoffee 说得百毒上那么多收录的 H 站都是在国内的服务器咯?
    Antidictator
        9
    Antidictator  
       2017-11-07 13:41:06 +08:00
    @Ellison #7 #7 2333333
    bearqq
        10
    bearqq  
       2017-11-07 15:38:47 +08:00 via Android
    我在百度搜到过 tumblr,下面一行红字,大意是该网站访问不稳定
    est
        11
    est  
       2017-11-07 15:40:58 +08:00   ❤️ 1
    @oott123 反过来是好事

    国内很多舆情系统是基于 baidu 的数据,如果 baidu 把 github 给爬了不知道多少 编程思考 之类的 blog 会被检索到,然后瞬间被封。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1492 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 17:16 · PVG 01:16 · LAX 09:16 · JFK 12:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.