第一次见,robots 还真的把百度给挡了

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 2357 days ago, the information mentioned may be changed or developed.

https://s2.ax1x.com/2019/11/13/MG2jNq.png

hi-pda

hi-pda

robots

百度

真的

14 replies • 2019-11-14 11:02:58 +08:00

shansing

Nov 13, 2019

原则上如果真的给挡了，百度甚至就不该显示这条索引结果。个人认为这还是在打擦边球，你看隔壁就清新很多：

> 一些其他的搜索引擎有时会利用 anchor 等信息，对特定被禁止抓取的路径（如首页），生成和 nosnippet 等同效果的展现，但我们会慎重处理这种灰色地带的行为。

pi1ot

Nov 13, 2019

@shansing

www.hi-pad.com/robots.txt
User-agent: *
Disallow:/app/
Disallow:/admin/
Disallow:/Framework/
Disallow:/Public/
Disallow:/Upload/

并没有禁止全站抓取

pi1ot

Nov 13, 2019

不好意思打错域名了，确实禁止了全站抓取

http://www.hi-pda.com/robots.txt
User-agent: *
Disallow: /

shansing

Nov 13, 2019

@pi1ot 唔，你域名打错了。请看 https://www.hi-pda.com/robots.txt

est

Nov 13, 2019

http://blog.est.im/robots.txt 这么巧。我也屏蔽了。BIDU

TomatoYuyuko

Nov 13, 2019

有很多啊,今天查菜鸟裹裹,发现他们官网就是限制了

nicoljiang

PRO

Nov 13, 2019

天猫的不就挡住了么？

yaoye555

Nov 13, 2019

@nicoljiang 以前用百度没发现, 刚刚去搜了几个关键词确实都被挡了

zdnyp

Nov 13, 2019

你见过百度搜索结果里有淘宝宝贝？...

Orciorc

Nov 13, 2019 via Android

这个，没有哪个大搜索引擎不遵守吧，毕竟会碰上法律责任的。

chtan

Nov 13, 2019 via iPhone

https://i.loli.net/2019/11/13/S3esKgMIcjHYbkv.jpg 看了下自己的博客

lovestudykid

Nov 13, 2019 via iPhone

@shansing 隔壁的 Google 行为跟百度一样
ImageHi!PDA › forum
Web results
HiPda
No information is available for this page.
Learn why

auchan

Nov 14, 2019

@shansing google 一样可以搜索到的，搜出来的样子和百度的差不多

shansing

Nov 14, 2019

@lovestudykid
@auchan
我说的隔壁是 Magi 啦（逃