V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
Nile20
V2EX  ›  问与答

百度可以搜索微信公众号的文章了?是有合作还是无视 robots.txt?

  •  
  •   Nile20 · Aug 5, 2023 · 1788 views
    This topic created in 996 days ago, the information mentioned may be changed or developed.

    今天在用百度搜点内网内容的时候,发现搜索结果中有的链接标注了“微信公众平台”,试了一下,点击能打开并且跳转到的是微信公众号域名。很疑惑,我记得微信屏蔽了所有搜索引擎的抓取,只和搜狗进行了合作,没听说对百度开放了呀。

    XX 的腾讯

    与此同时,Google 仍然不能搜索。于是再去看了下 robots.txt

    User-Agent: *
    Allow: /$
    Allow: /debug/
    Allow: /qa/
    Allow: /wiki
    Allow: /cgi-bin/loginpage
    Allow: /cgi-bin/wx
    Allow: /webpoc/ruleCenter
    Disallow: /
    

    这个Disallow: /一如既往呀,那百度是怎么搞的?无视 robots.txt ?南山法院没有作为吗?

    3 replies    2023-08-05 13:41:37 +08:00
    ijrou
        1
    ijrou  
       Aug 5, 2023
    robots.txt 就是一个单方面的要求,就算南山法院要告,也不会拿 robots 告,而是以非法侵入计算机信息系统罪告。。。
    fantathat
        2
    fantathat  
       Aug 5, 2023 via iPhone
    是呀,好奇怪呀,原来有收录,只是没有放出来,被你发现了,百度原来是偷偷干这事儿啊 😏
    googlefans
        3
    googlefans  
       Aug 5, 2023
    这是这个君子协议
    不是强制的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3152 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 14:33 · PVG 22:33 · LAX 07:33 · JFK 10:33
    ♥ Do have faith in what you're doing.