V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yaoye555
V2EX  ›  分享发现

第一次见,robots 还真的把百度给挡了

  •  
  •   yaoye555 · 2019-11-13 15:05:25 +08:00 · 4039 次点击
    这是一个创建于 1835 天前的主题,其中的信息可能已经有所发展或是发生改变。
    14 条回复    2019-11-14 11:02:58 +08:00
    shansing
        1
    shansing  
       2019-11-13 15:11:29 +08:00
    原则上如果真的给挡了,百度甚至就不该显示这条索引结果。个人认为这还是在打擦边球,你看隔壁就清新很多:

    > 一些其他的搜索引擎有时会利用 anchor 等信息,对特定被禁止抓取的路径(如首页),生成和 nosnippet 等同效果的展现,但我们会慎重处理这种灰色地带的行为。
    pi1ot
        2
    pi1ot  
       2019-11-13 15:19:45 +08:00
    @shansing

    www.hi-pad.com/robots.txt
    User-agent: *
    Disallow:/app/
    Disallow:/admin/
    Disallow:/Framework/
    Disallow:/Public/
    Disallow:/Upload/

    并没有禁止全站抓取
    pi1ot
        3
    pi1ot  
       2019-11-13 15:21:59 +08:00
    不好意思打错域名了,确实禁止了全站抓取

    http://www.hi-pda.com/robots.txt
    User-agent: *
    Disallow: /
    shansing
        4
    shansing  
       2019-11-13 15:22:58 +08:00
    @pi1ot 唔,你域名打错了。请看 https://www.hi-pda.com/robots.txt
    est
        5
    est  
       2019-11-13 15:29:21 +08:00
    http://blog.est.im/robots.txt 这么巧。我也屏蔽了。BIDU
    TomatoYuyuko
        6
    TomatoYuyuko  
       2019-11-13 15:33:29 +08:00
    有很多啊,今天查菜鸟裹裹,发现他们官网就是限制了
    nicoljiang
        7
    nicoljiang  
       2019-11-13 16:38:39 +08:00
    天猫的不就挡住了么?
    yaoye555
        8
    yaoye555  
    OP
       2019-11-13 16:54:27 +08:00
    @nicoljiang 以前用百度没发现, 刚刚去搜了几个关键词 确实都被挡了
    zdnyp
        9
    zdnyp  
       2019-11-13 17:43:26 +08:00
    你见过百度搜索结果里有淘宝宝贝?...
    Orciorc
        10
    Orciorc  
       2019-11-13 20:23:21 +08:00 via Android
    这个,没有哪个大搜索引擎不遵守吧,毕竟会碰上法律责任的。
    chtan
        11
    chtan  
       2019-11-13 20:26:31 +08:00 via iPhone
    lovestudykid
        12
    lovestudykid  
       2019-11-13 21:48:38 +08:00 via iPhone   ❤️ 1
    @shansing 隔壁的 Google 行为跟百度一样
    ImageHi!PDA › forum
    Web results
    HiPda
    No information is available for this page.
    Learn why
    auchan
        13
    auchan  
       2019-11-14 10:47:52 +08:00
    @shansing google 一样可以搜索到的,搜出来的样子和百度的差不多
    shansing
        14
    shansing  
       2019-11-14 11:02:58 +08:00
    @lovestudykid
    @auchan
    我说的隔壁是 Magi 啦(逃
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5769 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 02:29 · PVG 10:29 · LAX 18:29 · JFK 21:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.