1
Showfom 2014-09-02 17:07:47 +08:00
|
3
Showfom 2014-09-02 17:46:46 +08:00
|
4
myang 2014-09-02 17:49:45 +08:00
我怎么搜不出来?任何关键字加site:mp.weixin.qq.com都没有结果。搜狗好像是腾讯合作推出的,等于授权了。
|
5
9hills 2014-09-02 18:12:41 +08:00
1. baidu搜不出任何结果,是准守robots的,lz眼花?
2. sogou是和腾讯有官方合作的,不算不遵守 |
6
9hills 2014-09-02 18:13:06 +08:00
|
7
9hills 2014-09-02 18:14:50 +08:00
不过我看到lz的结果显示有265000个结果,我好像知道了什么。。前端的robots封禁八成出bug了。。
|
8
mqzhang 2014-09-02 19:42:45 +08:00 via Android
请看百度搜索 site:weixin.qq.com 的结果,就知道了。百度对robots.txt是遵守的
|
9
wzzyj8 2014-09-03 10:21:57 +08:00
3L以后的情况真的有点看不懂。
@9hills @myang 1. 桌面端 site:mp.weixin.qq.com 显示站长工具,很明确的写了:Robots封禁:无 其他一堆入口(譬如手机端),搜一下全都有搜索结果, 下图看第一条,更新时间是2014-9-1。http://postimg.org/image/rc2xq0o4n/ 2. Robots.txt禁止的是蜘蛛爬行,不是控制收录结果展示,任何情况下你有爬行记录都是违反协议的 3. site:weixin.qq.com robots.txt明显不应该向mp.weixin.qq.com继承,按这样说我还可以讲是从qq.com 的 robots.txt 继承过来的。事实上根本就不是同一个站点,完全不同的站点怎么会因为遵守了不相干的站点的robots.txt就不流氓了呢? 4. 搜狗不是合作的问题,合作也应该指明白名单UA,而非直接忽略robots.txt。何况搜狗忽略robots.txt直接爬行的事情也不是一次两次了: http://www.forumpostersunion.com/showthread.php?t=2529 http://www.internetofficer.com/web-robot/sogou/ http://www.webmasterworld.com/search_engine_spiders/4416720.htm 不懂,好像百度、搜狗和我生活都没有什么交集,不知道哪里有值得被黑的点 |