公司做 IPTV 业务的,每一个地区每个业务每天的数据量 400 万 PV 左右(地区较多 15 个地区左右,每个地区一到两个业务,一个业务两台机器做的集群,每个地区的网络不互通,可跟公司白名单服务器互通),
求一个大数据方案,主要要求如下:
计算每天 UV、PV、各页面访问量等
计算每月 UV、PV、各页面访问量等
根据运营条件做相关数据计算
服务器机器为两台集群,2G 内存到 8G 内存,本人想法是服务器最多算每个月的数据量,超过一个月的数据删除,用 mysql 实现
将服务器数据拉取到本地,采用多服务器、高配置,算一年或者几年的数据量
由于运营需要实时查看每天或者几天的数据,所以个人觉得第 4 点可行,比较服务器资源有限。
请各位大神指点下方案,小白不胜感激,小白努力学习,感谢各位的指点。
1
liprais 2018-03-09 17:00:54 +08:00
总共一天六千万数据,随便写就行了
|
2
Thiece 2018-03-09 17:29:53 +08:00
时间序列数据库考虑一下? influxdb 了解一下?
|
3
vus520 2018-03-09 17:36:20 +08:00
量级不大,随便一个日志中心化的方案+数据库都可以抗得住。推荐 ES。
|
5
tzh1247 OP 而且考虑做大数据渲染图展示
|
6
tzh1247 OP 服务器配置不高,硬盘也不大,不到 1T
|
7
runntuu 2018-03-11 14:59:10 +08:00 via iPhone
1.OTLP 业务和 OLAP 业务最好分开在不同服务器,如果做不到 OLAP 至少要放到深夜进行,不能影响白天业务
2.光说 PV 这个指标参考意义不大,多少内存也不是拍脑袋想出来的。数据库有最重要的两个指标,QPS 和 TPS,想办法得到业务高峰时这两个数值再去考虑服务器配置。 3.超过一个月的数据删除,这个,额…万一要用到一个月前的数据怎么办?建议先归档吧,实在用不到再删除。 |