V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 3683 days ago, the information mentioned may be changed or developed.
今天去百度看看我博客的收录情况,发现一个奇怪的问题.
百度说我的网站存在 robots.txt 指令限制? 我立马检查了一下我的 robots.txt
发现我的 robos.txt 并没有问题 之前百度收录也是正常的 https://wujunze.com
** 我看看 Google 和 360 收录是否正常
Google 和 360 收录都是正常的
那我就搞不明白百度蜘蛛这是闹哪样?
请 V 友帮忙解答一下
 |
1
wujunze OP 有没有知道的?
|
 |
2
Lullaby Mar 26, 2016
你之前有没有限制过 BaiduSpider ？
|
 |
4
m939594960 Mar 26, 2016
去站长工具看看 有个 robots 检测
还有百度出现这种问题挺正常的。 site:***.com 经常会出问题，有的时候还会混进别的额网站，有的时候关键词描述 完全不符 你可以随便查个关键词（能找到你的网站的） 看看底下的东西对不 |
|
5
wujunze OP @m939594960 去站长工具检测 robots.txt 了 是没有限制的
 我网站的百度收录全掉了 * 现在搜关键词搜不到我的网站了 |
|
6
m939594960 Mar 26, 2016
观察了半天 发现真的没什么问题。。 mark 下等高人解密
|
 |
7
just1 Mar 27, 2016
请问一下 sitemap 是用什么生成的呢。之前用百度提供的 wordpress 插件，刚刚看了一下，从 20151122 之后就再也没更新了 wtf ，怪不得几个月没新收录
|
 |
8
cxh116 Mar 27, 2016 via Android
开了 https ，百度掉了正常。
|
|
9
wujunze OP |
|
10
wujunze OP |
|
11
Lullaby Mar 27, 2016
看下你 80/443 端口的 access 日志有没有机器人爬取记录
实在不行把 robots.txt 先去掉 不一定是技术原因，人为原因也是可能的你懂的，百度这货谁知道 |
 |
12
techyan Mar 27, 2016 via iPhone
百度，你懂的。反正我自己的站开全站 https+HSTS ，百度索引完全正常，并且很勤。
|
 |
14
zangbob Mar 27, 2016
如果不太懂设计 robots.txt ，就直接删了，不要放。
|
Select Language