通过以下 Referral 链接购买 DigitalOcean 主机,你将可以帮助 V2EX 持续发展
DigitalOcean - SSD Cloud Servers
GreenJoson
V2EX  ›  VPS

linux nginx 如何实现蜘蛛抓取与用户访问不同的 VPS 节点?

  •  1
     
  •   GreenJoson · Oct 14, 2016 · 842 views
    This topic created in 3500 days ago, the information mentioned may be changed or developed.

    标题写得有点复杂,大神可能看不太懂。我详细说下!

    网站: xxxx.com ,因没有 beian,放不了国内 VPS ,用的香港 VPS 速度快,但因为香港小水管的问题,为了减轻带宽的问题,以及刚好手上有两台日本的 VPS ,想实现以下这种效果。 当让百度,谷歌,360 等蜘蛛抓取的时候,是到源站 IP 抓取,也就是香港的 VPS 。而用户访问的时候,则轮询到另两台日本的 VPS ,这样可以分散,而且用户访问的时候,不会暴露源站的 IP 。

    我知道可能会有人说 CDN ,但国内的 CDN 都是要备案的。而且我刚好手上有多余的 VPS ,就想看下怎么实现。

    目前知道的一点就是: nginx 的反向代理,还有 DNSPOD 有智能分析搜索引擎回源的功能,但有一个问题,如何做到源站 IP 上的数据更新,另外两台日本 VPS 上的数据或者静态文件也会同步呢? 后端用的是 PHP+mysql 的一般 CMS 。 linux 搭的 lnmp 一键包。 请求高手,给个思路,看下如何实现,会点 PHP 皮毛。

    4 replies    2016-10-16 00:02:16 +08:00
    GreenJoson
        1
    GreenJoson  
    OP
       Oct 14, 2016
    沙发……在线等高手。谢谢!!
    GreenJoson
        2
    GreenJoson  
    OP
       Oct 14, 2016
    说明一下~~站点都伪静态的文件,最多的就是图片了。。。这种情况!
    yylzcom
        3
    yylzcom  
       Oct 15, 2016
    dnspod 分国别解析就好了
    yylzcom
        4
    yylzcom  
       Oct 16, 2016
    同步就用 inotify+rsync ,你这个需求简单
    不暴露源站 ip 这个意义不大
    但是我觉得不如都解析到日本好了,反正用户的访问速度都可以牺牲掉,搜索引擎那点速度所谓
    或者考虑七牛云存储静态文件的方案
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1028 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 1341ms · UTC 18:36 · PVG 02:36 · LAX 11:36 · JFK 14:36
    ♥ Do have faith in what you're doing.