This topic created in 1875 days ago, the information mentioned may be changed or developed.
目前我们把埋点数据存放在了 MySQL 表中，现在行数大概是 1.6 亿，数据容量 36GB，索引容量 63GB 。漏斗数据分析是按天纬度来查询，通过 sql+Java 代码统计的方式来处理的，如果时间跨度长的话，统计起来会比较慢。
想请教一下，该如何做优化？
网上我查了一下，貌似 spark+hdfs 可以解决类似这样的问题，不知道各位大哥有何高见？感谢。
 |
1
lithiumii Mar 11, 2021 via Android
每天定时任务，把数量都数出来，存个表
|
 |
2
amoia50 Mar 11, 2021 via iPhone
clickhouse 适合你
|
 |
3
FucUrFrd Mar 11, 2021 via Android
1.6 亿行，赶紧开除 dba，实操上限一千万行
|
 |
4
shanghai1943 OP @lithiumii #1 目前的统计纬度是比较灵活的，相当于可以在这么多的埋点里做排列组合，可以认为统计是随机的。。所以目测定时这个不好搞。。
|
|
5
shanghai1943 OP @amoia50 #2 感谢。我这边研究一下看看
|
|
6
shanghai1943 OP @FucUrFrd #3 小公司。。木有 dba 。。
|
Select Language