想节省外网流量，把视频网站的视频缓存在本地服务器走内网流量，不知道具体怎么实现

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 4731 天前的主题，其中的信息可能已经有所发展或是发生改变。

小区宽带，PPPOE拨号后再NAT到外网。出口流量挺大，主要占用是在视屏网站和P2P协议上。 P2P的暂时没想到解决办法，对视频网站的FLV流量部分，打算在小区出口上路由上旁路一台缓存服务器，路由上做针对80端口的策略，如果是视频，去缓存服务器上读，这样就把外网流量转化成内网流量了。
如果缓存服务器上没有缓存的视频，可以不走路由，直接由缓存服务器对外抓取进行缓存。如果缓存服务器崩溃，想切回到路由上继续走外网。
想法是这样，不知道具体实现上有什么方案可以参考的。求V2EX大神指点。

缓存

服务器

流量

16 条回复 • 1970-01-01 08:00:00 +08:00

aveline

2011-12-11 19:59:13 +08:00

http劫持

9hills

2011-12-11 20:13:05 +08:00

以你们小区的人数，多个人看到同一个视频的概率很小吧，那么加缓存没有意义。如果你缓存服务器的硬盘能PK土豆优酷的硬盘，那么还有点意义。

P2P的问题，首先不能封，因为这是法律规定的，否则可以去工信部投诉ISP。限速也是不道德且违反协议的。

根本解决办法还是升级出口带宽或者提升宽带价格。

santa

2011-12-11 20:14:46 +08:00

squid的缓存？

AntiGameZ

2011-12-11 20:20:10 +08:00

目前我也有这种需求，不过我这里是园区网。既然你是运营商级别，最好的办法是和youku，tudou谈，能在你网内部做一个CDN的节点，是最好的办法。

视频点播服务的缓存，因为命中率的关系，真心意义不大。你可以先不要做实施，简单抓抓包，看看一下大家点播视频的习惯，能够有数。

至于P2P，不知道你是多大规模的小区宽带出口，如果下面带的节点在500以内，可以考虑用Panabit，多了就没法了，只能上高级的流控设备

feiandxs

2011-12-11 20:35:56 +08:00

@9hills 封到是没有封，虽然想节省成本，但至少不会在降低用户体验的基础上来实现成本压缩。视频部分，针对长尾的那些固然没有意义，但热点视频读取也许还会有一些价值吧。

9hills

2011-12-11 20:39:46 +08:00

@feiandxs 你知道视频网站一天有多少视频么，作为网络管理员，很容易你就可以分析出假如启用的缓存后缓存的命中率

缓存如果命中率很低的话没有任何意义。

另外我敢断言，对一个小区来说，缓存命中率会低的可怕。要是你是一个地区的运营商还有点价值，但那需要极大的硬盘空间，成本是很高的。

9hills

2011-12-11 20:49:30 +08:00

@AntiGameZ 限制P2P流量是不公平的行为，最少应在和用户的协议中体现出来。偷偷进行流量限制是不道德的行为。

参见的美国FCC的Net Neutrality原则，当然有人会说在中国不用吊美国法律，但这是一个趋势，而且在国内如果你没有在服务条款上写明的话，可以去工信部投诉你限制服务的。

loading

2011-12-11 20:55:04 +08:00

建立内部影视服务，把那些泡剧的吸引进来就结了。

mlhorizon

2011-12-11 20:55:14 +08:00

针对小区这么在做真的没啥意义。
还不如架一个内网的流媒体服务器，把热门的电视剧啥的都放上去。

mlhorizon

2011-12-11 20:58:22 +08:00

居然和楼上的同时发了同样的建议，缘分啊。

9hills

2011-12-11 21:00:05 +08:00

@loading @mlhorizon 这个方案靠谱～～架一套流媒体服务器很简单，但确实非常实用

Rice

2011-12-11 21:01:03 +08:00

嗯嗯，把热门电视剧都下载到一个服务器里、让小区居民自己看去

loading

2011-12-11 21:07:47 +08:00

要发现你的用户需要啥，而不是老想你需要干啥，就是如此简单。

gonbo

2011-12-11 21:18:32 +08:00

看到大家这么多的回答，国内应该专门的公司做这个方面的事情，劫持p2p协议，劫持http流量。以前也帮长宽做过这个方面的调研。所有流量走squid，还是会有一定的用，但是硬件成本会比较高，毕竟你要所有流量走一次squid。

现在流行的解决方案是，劫持http协议，看http后缀是*.flv *.exe *.rar 这种可缓存，而且永久不会改变的文件，就跳转到内部文件服务器。还是会减少一些流量，具体的没有调研，应该10%左右的流量能够节省到。

AntiGameZ

2011-12-11 21:52:15 +08:00

@gonbo 我这里的调研情况看，能省30%HTTP流量

@9hills 我说了我的环境是园区网，用户协议在我这没有意义，哈哈。

hq5261984

2011-12-11 21:56:03 +08:00

定制路由规则，发现视频程序或者视频格式请求，一律指向缓存服务器。缓存服务器分析是否有该片，如果没有指向外网。该技术实现需要服务器负载能力极强，另外分析程序需要自己写。