V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
eason1874
V2EX  ›  云计算

凉心云又一大坑, COS CDN 回源流量无故暴增至 5 倍

  •  
  •   eason1874 · 2022-07-24 17:12:40 +08:00 · 7027 次点击
    这是一个创建于 844 天前的主题,其中的信息可能已经有所发展或是发生改变。

    背景:

    一网站使用腾讯云 COS 对象存储放静态文件,通过 CDN 提供访问,内容长期没有变化。近几年 COS 平均每日回源流量稳定在 200MB 以内,一直在使用 10GB 资源包(月包),每月都用不完

    问题:

    这个月破天荒早早用完 10GB 回源流量,并且开始每日扣费。我排查,发现这个月日均回源流量近 1GB

    好家伙,我直呼好家伙,在内容没有变化,流量也没有增加的清空下,回源流量暴增至 5 倍

    按需求付费,原来不是按用户的需求,而是按厂商的需求

    23 条回复    2022-08-03 10:02:35 +08:00
    billzhuang
        1
    billzhuang  
       2022-07-24 17:39:10 +08:00 via iPhone
    提工单看看,另外看看 cos 的日志
    Mitt
        2
    Mitt  
       2022-07-24 18:45:25 +08:00
    我觉得大概率是你设置有问题,可能有人在刷参数导致回源
    learningman
        3
    learningman  
       2022-07-24 18:46:10 +08:00 via Android
    ignore get 参数了吗,感觉被刷了
    eason1874
        4
    eason1874  
    OP
       2022-07-24 19:00:13 +08:00
    @billzhuang
    @Mitt
    @learningman

    都是静态文件,查询参数一直是忽略的,重复请求不会重复回源

    CDN 请求数和流量比上个月少一点,比例也没有异常,不像是刷流量
    iwdmb
        5
    iwdmb  
       2022-07-24 20:19:51 +08:00
    Cloudflare
    pastor
        6
    pastor  
       2022-07-24 21:41:24 +08:00
    如果是良心云增加了很多 CDN 节点导致回源流量暴增,那说明它的服务质量是提升了。。
    但是我不太相信是这个原因。
    Macv1994
        7
    Macv1994  
       2022-07-24 21:57:28 +08:00
    这就是我一直不敢用 CDN 的原因
    eason1874
        8
    eason1874  
    OP
       2022-07-24 23:13:57 +08:00
    @iwdmb # 5 服务国内用户,用 Cloudflare 访问不了

    @pastor #6 正经 CDN ,回源多少次跟节点有多少是没关系的。就近回源,节点间自动同步,这样才能有分布式加速的效果,不同区域节点都单独访问源服务器拿数据就太慢了

    内容 200MB ,以前每天全国各地流量 50GB ,每天回源也只有 200MB 。这样就是一个节点回源,然后自动同步到其他节点,内容没变,配置没变,流量少了,回源却增加到 1GB ,我猜是他们最近降本增效把缓存策略改了。适当降低缓存可用时间,每用户每月多花几块,每百万用户每月就增加几百万了

    @Macv1994 # 有些场景还是得 CDN ,别的问题只能靠自己多注意了
    pastor
        9
    pastor  
       2022-07-25 00:13:49 +08:00
    @eason1874 #8
    印象里我公司用过的 CDN ,回源流量峰值大于资源总量,比如资源总量 500M ,回源流量峰值可能 1G+,回源时间间隔远大于 1 天。

    我是开发,运维相关懂得不多,只是猜测:
    可能各个厂商实现策略不同,比如跟在线量有关?如果 CDN 都是单点回源然后 CDN 厂内部同步的话,尤其大厂、用户多,很容易赶上大量用户回源高峰期,这样如果大量节点之间同时迅速同步就也可能会有 CDN 厂内部网络风暴的问题,所以调度策略应该不是这种简单的方式,说不定是默认单节点回源后慢慢同步给其他节点,但是节点越多时间越久,这时候如果某些节点收到了请求、但自己节点还没收到回源节点同步来的数据,可能就直接源站了,然后也作为同步节点给其他节点发散?
    eason1874
        10
    eason1874  
    OP
       2022-07-25 00:25:44 +08:00
    @pastor #9 各家策略是不同的,如果我是才换过来腾讯云,我不会觉得有问题,顶多觉得腾讯云节点缓存时间短。主要是我这套内容在腾讯云 COS + CDN 好几年了,最近配置没改过,流量也没有增加,只有回源突然增加了,那唯一的变量就是腾讯云策略变了

    你说得对,热点内容回源时间间隔远超 1 天的,腾讯云这回源本身就算频繁的。我在百度云 CDN 上的同样内容,同样缓存一个月,百度云每月才回源几百 MB ,比腾讯云少 10 倍。现在腾讯云居然又增加回源流量,要说不是故意的,我不信
    nicoljiang
        11
    nicoljiang  
       2022-07-25 03:48:51 +08:00
    @eason1874
    > 正经 CDN ,回源多少次跟节点有多少是没关系的。就近回源,节点间自动同步,这样才能有分布式加速的效果,不同区域节点都单独访问源服务器拿数据就太慢了

    你怕是对 CDN 有误解。你说的这种策略各家都有相应的特性(或单独的产品),都是另外单独计费的。
    mytsing520
        12
    mytsing520  
       2022-07-25 04:29:51 +08:00
    @eason1874
    > 正经 CDN ,回源多少次跟节点有多少是没关系的。就近回源,节点间自动同步,这样才能有分布式加速的效果,不同区域节点都单独访问源服务器拿数据就太慢了

    一般 CDN 缓存都是各个节点各自为政,当然指的是那些配置了缓存策略后,被动缓存的场景。
    即便是用户主动预热,也是触发各 CDN 节点去访问一遍源站,这期间,会造成源站的访问压力。
    eason1874
        13
    eason1874  
    OP
       2022-07-25 04:57:49 +08:00
    @nicoljiang #11 你说的那个是动态加速,针对实时连接的链路优化,跟静态分发是两码事

    @mytsing520 #12

    CDN 技术架构中至少两层缓存,有的三层,中间源才是真正按用户要求去缓存内容的,边缘节点只会从中间源要内容,不会越过它去访问源站。只要边缘节点共用的中间源有缓存,无论你从其中哪一个节点去访问,都不会触发回源

    所以我说 CDN 回源多少次跟有多少节点是没关系的,这只跟中间源数量有关

    像我这 200MB 内容,在百度智能云 CDN 每月 1TB+流量,用户访问了上百个 CDN 节点,如果全部 CDN 节点都回源的话,回源流量至少 20GB 了。但实际回源流量还不到 500MB ,也就是说真正回源的中间源顶多也就 2 个,甚至可能只有 1 个

    同样 200MB 内容,在腾讯云每月 1.5TB 流量的时候,也是全国各地都有访问,上百节点,以前回源 6GB ,说明也不是每个节点都会回源,也是有中间源的。现在每天 1GB ,总数算起来倒像是每个节点都分别回源了,但这做法可不是正经 CDN 架构的做法
    mytsing520
        14
    mytsing520  
       2022-07-25 05:05:22 +08:00
    @eason1874
    给他们发工单问问看呗
    eason1874
        15
    eason1874  
    OP
       2022-07-25 05:25:25 +08:00
    @mytsing520 听说他们最近在清理低消费用户,我有点怂啊,为了每月几块钱去烦他们,我怕也会被莫须有封号。不太敢对线,吐槽一下算了 😂
    mytsing520
        16
    mytsing520  
       2022-07-25 05:43:06 +08:00
    @eason1874
    你这种算不上低消用户啊
    yuzo555
        17
    yuzo555  
       2022-07-25 07:09:41 +08:00
    可以考虑下我们多吉云 DogeCloud ,底层同样是 COS / OSS ,稳定性一致,但回源流量不收费,价格还更便宜,如果你现在在用 COS 的话,几乎可以无缝切换 😊
    picone
        18
    picone  
       2022-07-25 09:21:18 +08:00
    @eason1874 #13 既然这样为什么还用凉心云不用百度云。。
    cco
        19
    cco  
       2022-07-25 09:58:52 +08:00
    CDN 这东西,我从来只用 CloudFlare 这种的服务,不然搞不好房子都给你刷没了。
    eason1874
        20
    eason1874  
    OP
       2022-07-25 16:47:50 +08:00
    @yuzo555 #17 好的。我观察一段时间,还是离谱回源就去试试你们家的

    @picone #18 百度智能云也有在用,我们是几家同时在用。每家优惠流量包都是限购的,只用一家没有同时用几家优惠 🤣

    @cco #19 可惜的是国内很多地方访问不了 CloudFlare ,要能用我肯定用
    wkingnet
        21
    wkingnet  
       2022-07-31 21:07:27 +08:00
    你要查日志啊,光自己猜测有什么用
    eason1874
        22
    eason1874  
    OP
       2022-07-31 23:20:00 +08:00
    @wkingnet #21

    我已经说了,内容没有变化,CDN 流量和请求数没有异常,甚至比上月还要少一点。还要查什么日志?
    cco
        23
    cco  
       2022-08-03 10:02:35 +08:00
    @eason1874 CloudFlare 在国内的合作伙伴,百度加速云也可以的,一样的架构,你找代理商一年也就几百块。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1054 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 22:38 · PVG 06:38 · LAX 14:38 · JFK 17:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.