1
shansing 2019-11-13 15:11:29 +08:00
原则上如果真的给挡了,百度甚至就不该显示这条索引结果。个人认为这还是在打擦边球,你看隔壁就清新很多:
> 一些其他的搜索引擎有时会利用 anchor 等信息,对特定被禁止抓取的路径(如首页),生成和 nosnippet 等同效果的展现,但我们会慎重处理这种灰色地带的行为。 |
2
pi1ot 2019-11-13 15:19:45 +08:00
@shansing
www.hi-pad.com/robots.txt User-agent: * Disallow:/app/ Disallow:/admin/ Disallow:/Framework/ Disallow:/Public/ Disallow:/Upload/ 并没有禁止全站抓取 |
3
pi1ot 2019-11-13 15:21:59 +08:00
|
4
shansing 2019-11-13 15:22:58 +08:00
@pi1ot 唔,你域名打错了。请看 https://www.hi-pda.com/robots.txt
|
5
est 2019-11-13 15:29:21 +08:00
http://blog.est.im/robots.txt 这么巧。我也屏蔽了。BIDU
|
6
TomatoYuyuko 2019-11-13 15:33:29 +08:00
有很多啊,今天查菜鸟裹裹,发现他们官网就是限制了
|
7
nicoljiang 2019-11-13 16:38:39 +08:00
天猫的不就挡住了么?
|
8
yaoye555 OP @nicoljiang 以前用百度没发现, 刚刚去搜了几个关键词 确实都被挡了
|
9
zdnyp 2019-11-13 17:43:26 +08:00
你见过百度搜索结果里有淘宝宝贝?...
|
10
Orciorc 2019-11-13 20:23:21 +08:00 via Android
这个,没有哪个大搜索引擎不遵守吧,毕竟会碰上法律责任的。
|
11
chtan 2019-11-13 20:26:31 +08:00 via iPhone
|
12
lovestudykid 2019-11-13 21:48:38 +08:00 via iPhone 1
@shansing 隔壁的 Google 行为跟百度一样
ImageHi!PDA › forum Web results HiPda No information is available for this page. Learn why |
14
shansing 2019-11-14 11:02:58 +08:00
|