V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Reign
V2EX  ›  程序员

Googlebot 能探测到 cloudflare 后面网站的真实服务器 ip 吗?

  •  1
     
  •   Reign · 2016-08-19 21:30:38 +08:00 · 5678 次点击
    这是一个创建于 3016 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前准备买一台大容量的服务器,以后做网站都在这上面了,但是貌似多个网站挂在同一个 ip 上对 SEO 不太友好,而且假设一个网站被谷歌反感了,貌似这个 ip 上的网站都要被牵连,我在想用 cloudflare 这种前端 cdn 把这台服务器罩一下,是不是谷歌就察觉不出来我的所有网站都在同一个台服务器同一个 ip 上了?

    44 条回复    2016-08-26 09:04:05 +08:00
    xupefei
        1
    xupefei  
       2016-08-19 21:41:11 +08:00
    > 而且假设一个网站被谷歌反感了,貌似这个 ip 上的网站都要被牵连
    有这回事儿?那如果你挂了 CF 以后再被反感,同一个 CDN 上的几百个网站全玩完?怎么可能嘛。
    Reign
        2
    Reign  
    OP
       2016-08-19 21:49:39 +08:00
    @xupefei 貌似曾经看到过同 ip 虚拟主机受诛连的文章
    huihuimoe
        3
    huihuimoe  
       2016-08-19 22:00:33 +08:00 via Android
    @Reign (多少年前的文章?
    Marfal
        4
    Marfal  
       2016-08-19 22:00:48 +08:00
    不能

    同 IP 多网站不受影响,另外 CF 抗 D 很强,加速一般,因为免费及 Pro 版本,是没有中间回源的。电信联通解析到美西节点,为国内提供服务还是多考虑考虑。
    Reign
        5
    Reign  
    OP
       2016-08-19 22:10:44 +08:00
    @huihuimoe 09 年 10 年的时候吧,那时候才入门,看了很多 SEO 的文章,就讲了这个
    yexm0
        6
    yexm0  
       2016-08-19 22:23:27 +08:00 via Android
    好像 cf 对搜索引擎回源的吧。
    Marfal
        7
    Marfal  
       2016-08-19 22:35:17 +08:00
    @yexm0 怎么可能回源
    zaishanfeng
        8
    zaishanfeng  
       2016-08-19 22:39:38 +08:00 via Android
    cf 国内不友好。用 cf 可以达到你目的。 其实你可以买多 ip 的服务器, 加个 ip 要不了多少钱。
    imcocc
        9
    imcocc  
       2016-08-19 22:42:47 +08:00 via iPhone
    看过英文博客说 cf 对 googlebot 返回源值。等会我去测试一下


    有点可以肯定,如果这些站不互链,没影响的。有人用 12 刀一年的 GD 共享 ip 主机 seo 做到第一
    ray1980
        10
    ray1980  
       2016-08-19 22:47:15 +08:00 via iPhone
    @imcocc 同 IP 的站不要互链?
    dynos01
        11
    dynos01  
       2016-08-19 22:55:09 +08:00 via iPad
    @imcocc 如果这样我伪装成 googlebot 不就能探测到真实地址了。。。。
    imcocc
        12
    imcocc  
       2016-08-19 23:03:12 +08:00 via iPhone
    @dynos01 我也是想用这个思路测试
    imcocc
        13
    imcocc  
       2016-08-19 23:04:37 +08:00 via iPhone
    @ray1980 对,互连就完蛋, google 站长手册里有这条。
    cocochan
        14
    cocochan  
       2016-08-19 23:12:15 +08:00
    @dynos01
    @imcocc 你得伪装成谷歌 bot 的机房,他们有一个专用的 DNS 来解析回源 -> 这是目前绝大多数 DNS 搜索引擎回源方案, CloudFlare 应该也是
    azh7138m
        15
    azh7138m  
       2016-08-20 00:14:19 +08:00 via Android
    @cocochan 代码跑在 GAE 这种地方上可以吗?
    ranran
        16
    ranran  
       2016-08-20 00:15:06 +08:00
    @dynos01 不在一个层面…… 你都能提交 HTTP 请求了(模拟谷歌) 说明已经过了获取 IP 的那个阶段 人家还怎么返回 IP 给你 哈哈哈!
    imcocc
        17
    imcocc  
       2016-08-20 00:35:16 +08:00
    以为是很简单的测试,真测起来发现好难 不会弄 GAE ,用 python 套 GAE 代 /+-0-理获取网站 ip 的难度好大 ,没搞好(我技术菜)

    我就想出了另一个简单的方法,CF 里设置对网站站进行 Auto Minify (js,css,html), 正常访问,网站源码里带 CF 的 js 代码. firefox 改成 googlebot UA 后, 网站源码里 CF 的 js 消失(或者说 Auto Minify 的影响消失).

    用 python+requests+GAE 的 ip. 结果同上.
    UnisandK
        18
    UnisandK  
       2016-08-20 00:41:24 +08:00
    为什么不反过来想想, CDN 要是对搜索引擎回源,意味着后端只允许 CDN 的 IP 访问的服务器会直接无法被收录,这可是常见的安全配置
    cocochan
        19
    cocochan  
       2016-08-20 00:44:10 +08:00
    @azh7138m 不可以,他们机房都是有专门的 DNS 解析的
    mytsing520
        20
    mytsing520  
       2016-08-20 00:56:08 +08:00
    @Marfal 已经备案的网站,在 CF 可以使用中国大陆节点
    Balthild
        21
    Balthild  
       2016-08-20 01:03:36 +08:00 via Android
    @imcocc 也许考虑过 CDN ,对比如 CF 的同 IP 互链免疫呢?
    Marfal
        22
    Marfal  
       2016-08-20 01:09:30 +08:00
    @mytsing520 然而如果你源站在国外,回源炸裂。
    Technetiumer
        23
    Technetiumer  
       2016-08-20 01:29:03 +08:00
    应该不能
    顶多会 刷新缓存 或 忽略缓存直接代理
    不然只要在 GAE 上模拟 Googlebot 不就能探测到真实地址了,防护就没意义了,直接 D 源站
    imcocc
        24
    imcocc  
       2016-08-20 05:32:38 +08:00 via iPhone
    @Balthild 免疫不了,也许一个两个站不会有问题。

    别想着新站互链提高权重了,新站都是缺奶的孩子,一帮小奶娃你顶我 我顶你。意义不大。 靠老的权威站传递权重救济才是王道。
    czb
        25
    czb  
       2016-08-20 05:38:37 +08:00 via Android
    @Technetiumer GAE 反向解析结果是跟 Google Bot 不一样的
    ray1980
        26
    ray1980  
       2016-08-20 06:21:23 +08:00 via iPhone
    @imcocc 我都是互链的,完蛋
    zjl88858
        27
    zjl88858  
       2016-08-20 10:05:33 +08:00
    @xupefei CF 一般一个 ip 就不到 10 个网站。。。百度云加速除外
    xiaozuo
        28
    xiaozuo  
       2016-08-20 10:06:19 +08:00 via iPhone
    别忘了谷歌是 CF 的投资者之一
    coyove
        29
    coyove  
       2016-08-20 10:06:49 +08:00
    wdlth
        30
    wdlth  
       2016-08-20 11:09:20 +08:00
    提出多网站在同一 IP 上不友好的人中不乏卖独立 IP 的虚拟主机商,他们告诉大家:“想一想,不充钱你会变得更强么?!”
    ivmm
        31
    ivmm  
       2016-08-20 11:31:56 +08:00
    @coyove 这个网站。。。。
    mytsing520
        32
    mytsing520  
       2016-08-20 12:53:26 +08:00
    @Marfal 并不是访问直接穿透,有中央处理集群
    Marfal
        33
    Marfal  
       2016-08-20 13:06:44 +08:00
    @mytsing520 求详解。。
    FreeDog
        34
    FreeDog  
       2016-08-20 16:15:43 +08:00
    @mytsing520 只有企业用户 Plan 可以用中国网络,而且似乎还不支持 HTTPS..
    mytsing520
        35
    mytsing520  
       2016-08-20 18:49:14 +08:00
    @Marfal

    许多用户---→CDN 近源节点---→中央处理集群---→与源站网络质量最好的节点(随机访问)---→源站
    Marfal
        36
    Marfal  
       2016-08-20 19:03:53 +08:00
    @mytsing520 这不是一样的吗,比如说源站在 LAX ,用户解析到的 CDN 节点在 HKG ,这时候没有缓存的请求就直接从 HKG 到 LAX 了,我测试是这样,免费和 Pro 都是这样,价格更高的 Plan 才能用中间源。

    你说的中央处理集群指什么?
    mytsing520
        37
    mytsing520  
       2016-08-20 19:19:05 +08:00
    @Marfal
    可以强制要求路由从中央处理集群(可以是内网)对数据进行集中化处理后下发的
    mytsing520
        38
    mytsing520  
       2016-08-20 19:24:12 +08:00
    @Marfal 另外,与源站访问质量最好的节点(随机访问)并不作为解析获得的对用户直接提供访问
    Marfal
        39
    Marfal  
       2016-08-20 19:26:22 +08:00
    @mytsing520 当然不是直接穿透啊,而且处理是在本地处理的,是没错啊。但是我一开始说的是如果源站在国外的话回源很慢。因为 CF 并不是传统意义上的 CDN ,反代的意味更大。
    mytsing520
        40
    mytsing520  
       2016-08-20 19:29:48 +08:00
    @Marfal 我的意思是, CDN 边界节点,只作为反向代理进行数据发送的任务,数据处理等业务交由计算能力更强大的中央集群化机器进行处理,这样速度会快的多,而且负责向客户展示的机器只做向客户展示,而不是去抓取源站
    Marfal
        41
    Marfal  
       2016-08-20 19:44:23 +08:00
    @mytsing520 从头到尾我没想和你讨论这个啊。。你说的确实是对的,但是网络不行处理能力再强也没用,我试过在源站( LAX )下载 CF 反代后的文件,带宽是能跑满的。

    跨数据中心可能有内网连接(我没试过),但那是给中间源用的,比如我上面提到的例子 Client <--> HKG Datacenter <--> LAX Datacenter <--> Source ,但是 Free 以及 Pro 套餐是这样的 Client <--> HKG Datacenter <--> Source 。你懂了吧?
    Marfal
        42
    Marfal  
       2016-08-20 19:47:43 +08:00
    @mytsing520 你说的 Edge 节点和处理节点其实是在同一个数据中心的,从宏观看还是一个 Pop 。
    kmahyyg
        43
    kmahyyg  
       2016-08-22 08:28:30 +08:00
    提醒一个不相干的问题,最近 cf 的 cdn 被 ddos 的厉害,我的站被连累的躺了好几次,直接被 vps 提供商 ban 了账号.......
    dsg001
        44
    dsg001  
       2016-08-26 09:04:05 +08:00
    页面底部隐蔽输出来访 UA 、 IP ,等 GG 收录之后,查看缓存中的 UA 、 IP 就晓得了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5337 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 07:59 · PVG 15:59 · LAX 23:59 · JFK 02:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.