看服务器上的访问日志,是能看到搜索引擎蜘蛛抓取记录,这意味着搜索引擎能绕过 cdn 直接抓取源站?还是 cdn 对搜索引擎进行了判断?那是不是意味着可以伪装成蜘蛛获取源站 ip?不是很明白,有没有大佬解释一下
1
cydian 2019-12-11 23:51:12 +08:00 via Android
是的。
CDN 厂商支持搜索引擎自动回源。 但是想通过这路子找到别人站点的 IP 还是算了。 因为文档都写着是直接和搜索引擎合作的,拥有搜索引擎的完整 IP 库,不多不少。 伪造不了。而且各大搜索引擎站长平台发起模拟蜘蛛请求都需要验证站点权限。 |
2
cydian 2019-12-11 23:51:50 +08:00 via Android
简单来说,想通过伪造不可能。除非你在搜索引擎机房里面
|