这是一个创建于 2901 天前的主题，其中的信息可能已经有所发展或是发生改变。
- 域名 NS 放在CloudXNS
- 独立 IP 地址 VPS
- VPS 安装宝塔Linux 管理
- 给朋友用微信发送过网址， log 里有微信跳转服务用IE 的 User-Agent的访问记录以及微信内部浏览器 Micromessage 的 UA
- 给朋友用 QQ 发送过网址， log 里只有QQ 浏览器的 UA
- 我自己使用官网下载的Chrome浏览器，未安装其他扩展
- 未使用任何网站监控服务
先后被 GoogleBot 、 BaiduBot 、 Baidu-YunGuanCe 等蜘蛛爬，发现之后写了Deny * 的 robot.txt ，这几个蜘蛛还在爬，除了云观测其他的都在爬一些不存在的网页，被服务器返回了 404 。
部分日志如下图
 |
1
wjm2038 2016-12-06 02:10:57 +08:00
chrome 访问过就会被爬， qq 微信也同理。。。
|
 |
2
CloudnuY OP |
 |
6
badcode 2016-12-06 03:21:20 +08:00
这个问题涉及的不仅仅是网站这边，还有访客的环境！
|
 |
7
forestyuan 2016-12-06 11:52:56 +08:00
域名只要注册了，都能在 whois 查到，所以我觉得不存在公不公开的问题
|
|
8
CloudnuY OP |
 |
9
ye10010 2016-12-06 21:54:06 +08:00
会否是宝塔软件或者 cloudxns 会自动推送?
反正 dnspod 上可以开启搜索引擎推送功能. |
Select Language