1
taineric 2017-05-01 13:20:46 +08:00 via Android 1
robots 然后服务器检测到谷歌爬虫就 404
|
2
ferrum 2017-05-01 14:02:55 +08:00 via iPhone 1
为什么要生成固定链接,每个链接地址是这种?ip=121.67.34.278 不可以吗?
|
3
tianxiacangshen OP @ferrum 对 每条 url 都是 ?ip=xxx.xxx.xxx.xxx 这样的话每一个 ip 也是对应一条 url 啊,这样就导致大量不同的 url 对应的内容是一样的
|
4
Joway 2017-05-01 16:48:49 +08:00
直接 robots 掉
|
5
Zzzzzzzzz 2017-05-01 17:19:46 +08:00 1
只显示 x.x.x.0/24, 碰到 x.x.x.x 301 到 x.x.x.0/24 上?
robots 是可以禁的, 问题是 robots 里禁的 google 只是不索引, 不代表不爬不参权 给 robots 和用户针对性吐 404 对搜索引擎来说性质更恶劣了 其实没必要太考虑那份东西, 上古查同 IP 虚拟主机的 whois.webhosting.info 这么搞了十几年, 权重高的很, 别说还有 he、arin 之类的. google 这份东西的意义在于你被降权后能自己找个框把自己套进去, 而不是你做的时候把自己框死. |
6
tianxiacangshen OP @Zzzzzzzzz 我是发现了,谷歌面前千万不要挂羊头卖狗肉,谷歌不好忽悠啊,我之前没仔细去看站长指南,做了一个英文站,半年到 6000 IP 了,然后被谷歌手动操作了,我程序出了问题,不知道是不是别人搞的鬼,导致大量不同的 url 指向同一个内容,然后谷歌说大量重复网页,然后就把我手动操作了
|