背景:
一网站使用腾讯云 COS 对象存储放静态文件,通过 CDN 提供访问,内容长期没有变化。近几年 COS 平均每日回源流量稳定在 200MB 以内,一直在使用 10GB 资源包(月包),每月都用不完
问题:
这个月破天荒早早用完 10GB 回源流量,并且开始每日扣费。我排查,发现这个月日均回源流量近 1GB
好家伙,我直呼好家伙,在内容没有变化,流量也没有增加的清空下,回源流量暴增至 5 倍
按需求付费,原来不是按用户的需求,而是按厂商的需求
1
billzhuang 2022-07-24 17:39:10 +08:00 via iPhone
提工单看看,另外看看 cos 的日志
|
2
Mitt 2022-07-24 18:45:25 +08:00
我觉得大概率是你设置有问题,可能有人在刷参数导致回源
|
3
learningman 2022-07-24 18:46:10 +08:00 via Android
ignore get 参数了吗,感觉被刷了
|
4
eason1874 OP |
5
iwdmb 2022-07-24 20:19:51 +08:00
Cloudflare
|
6
pastor 2022-07-24 21:41:24 +08:00
如果是良心云增加了很多 CDN 节点导致回源流量暴增,那说明它的服务质量是提升了。。
但是我不太相信是这个原因。 |
7
Macv1994 2022-07-24 21:57:28 +08:00
这就是我一直不敢用 CDN 的原因
|
8
eason1874 OP @iwdmb # 5 服务国内用户,用 Cloudflare 访问不了
@pastor #6 正经 CDN ,回源多少次跟节点有多少是没关系的。就近回源,节点间自动同步,这样才能有分布式加速的效果,不同区域节点都单独访问源服务器拿数据就太慢了 内容 200MB ,以前每天全国各地流量 50GB ,每天回源也只有 200MB 。这样就是一个节点回源,然后自动同步到其他节点,内容没变,配置没变,流量少了,回源却增加到 1GB ,我猜是他们最近降本增效把缓存策略改了。适当降低缓存可用时间,每用户每月多花几块,每百万用户每月就增加几百万了 @Macv1994 # 有些场景还是得 CDN ,别的问题只能靠自己多注意了 |
9
pastor 2022-07-25 00:13:49 +08:00
@eason1874 #8
印象里我公司用过的 CDN ,回源流量峰值大于资源总量,比如资源总量 500M ,回源流量峰值可能 1G+,回源时间间隔远大于 1 天。 我是开发,运维相关懂得不多,只是猜测: 可能各个厂商实现策略不同,比如跟在线量有关?如果 CDN 都是单点回源然后 CDN 厂内部同步的话,尤其大厂、用户多,很容易赶上大量用户回源高峰期,这样如果大量节点之间同时迅速同步就也可能会有 CDN 厂内部网络风暴的问题,所以调度策略应该不是这种简单的方式,说不定是默认单节点回源后慢慢同步给其他节点,但是节点越多时间越久,这时候如果某些节点收到了请求、但自己节点还没收到回源节点同步来的数据,可能就直接源站了,然后也作为同步节点给其他节点发散? |
10
eason1874 OP @pastor #9 各家策略是不同的,如果我是才换过来腾讯云,我不会觉得有问题,顶多觉得腾讯云节点缓存时间短。主要是我这套内容在腾讯云 COS + CDN 好几年了,最近配置没改过,流量也没有增加,只有回源突然增加了,那唯一的变量就是腾讯云策略变了
你说得对,热点内容回源时间间隔远超 1 天的,腾讯云这回源本身就算频繁的。我在百度云 CDN 上的同样内容,同样缓存一个月,百度云每月才回源几百 MB ,比腾讯云少 10 倍。现在腾讯云居然又增加回源流量,要说不是故意的,我不信 |
11
nicoljiang 2022-07-25 03:48:51 +08:00
@eason1874
> 正经 CDN ,回源多少次跟节点有多少是没关系的。就近回源,节点间自动同步,这样才能有分布式加速的效果,不同区域节点都单独访问源服务器拿数据就太慢了 你怕是对 CDN 有误解。你说的这种策略各家都有相应的特性(或单独的产品),都是另外单独计费的。 |
12
mytsing520 2022-07-25 04:29:51 +08:00
@eason1874
> 正经 CDN ,回源多少次跟节点有多少是没关系的。就近回源,节点间自动同步,这样才能有分布式加速的效果,不同区域节点都单独访问源服务器拿数据就太慢了 一般 CDN 缓存都是各个节点各自为政,当然指的是那些配置了缓存策略后,被动缓存的场景。 即便是用户主动预热,也是触发各 CDN 节点去访问一遍源站,这期间,会造成源站的访问压力。 |
13
eason1874 OP @nicoljiang #11 你说的那个是动态加速,针对实时连接的链路优化,跟静态分发是两码事
@mytsing520 #12 CDN 技术架构中至少两层缓存,有的三层,中间源才是真正按用户要求去缓存内容的,边缘节点只会从中间源要内容,不会越过它去访问源站。只要边缘节点共用的中间源有缓存,无论你从其中哪一个节点去访问,都不会触发回源 所以我说 CDN 回源多少次跟有多少节点是没关系的,这只跟中间源数量有关 像我这 200MB 内容,在百度智能云 CDN 每月 1TB+流量,用户访问了上百个 CDN 节点,如果全部 CDN 节点都回源的话,回源流量至少 20GB 了。但实际回源流量还不到 500MB ,也就是说真正回源的中间源顶多也就 2 个,甚至可能只有 1 个 同样 200MB 内容,在腾讯云每月 1.5TB 流量的时候,也是全国各地都有访问,上百节点,以前回源 6GB ,说明也不是每个节点都会回源,也是有中间源的。现在每天 1GB ,总数算起来倒像是每个节点都分别回源了,但这做法可不是正经 CDN 架构的做法 |
14
mytsing520 2022-07-25 05:05:22 +08:00
@eason1874
给他们发工单问问看呗 |
15
eason1874 OP @mytsing520 听说他们最近在清理低消费用户,我有点怂啊,为了每月几块钱去烦他们,我怕也会被莫须有封号。不太敢对线,吐槽一下算了 😂
|
16
mytsing520 2022-07-25 05:43:06 +08:00
@eason1874
你这种算不上低消用户啊 |
17
yuzo555 2022-07-25 07:09:41 +08:00
可以考虑下我们多吉云 DogeCloud ,底层同样是 COS / OSS ,稳定性一致,但回源流量不收费,价格还更便宜,如果你现在在用 COS 的话,几乎可以无缝切换 😊
|
19
cco 2022-07-25 09:58:52 +08:00
CDN 这东西,我从来只用 CloudFlare 这种的服务,不然搞不好房子都给你刷没了。
|
20
eason1874 OP |
21
wkingnet 2022-07-31 21:07:27 +08:00
你要查日志啊,光自己猜测有什么用
|
22
eason1874 OP |