测试网站不小心被百度收录了，而且有时候比正式网站的权重更高，无语了。
但是测试网站还要用，不方便关掉。网上看到有个在 nginx 配置里，根据 useragent 来返回 403 的方法：
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") { return 403; }
不知道百度这些搜索引擎会不会伪造 useragent 来绕过限制进行收录呢？
 |
learningmanAug 20, 2019 via Android
1
建议试试 robots.txt
|
 |
2
@learningman 不能阻止收录首页
|
 |
googlefansAug 21, 2019
3
将测试域名做 301 转向正式网站域名
|
Select Language