知乎疑似屏蔽了谷歌爬虫

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 180 天前的主题，其中的信息可能已经有所发展或是发生改变。

2024 年 4 月 28 日的谷歌快照显示允许谷歌索引

https://webcache.googleusercontent.com/search?q=cache:https://www.zhihu.com/robots.txt

https://www.zhihu.com/robots.txt

而最新的删掉了这些：

User-agent: Googlebot
Disallow: /appview/
Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Allow: /search-special
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*

User-agent: Googlebot-Image
Disallow: /appview/
Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Allow: /search-special
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*

1 条回复

liuhaitaoSB

180 天前