大数据下查询性能如何提高？ - V2EX

Home Sign Up Sign In

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› MySQL Performance Blog

› Severalnines

推荐管理工具

推荐书目

› MySQL Cookbook

MySQL 相关项目

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

This topic created in 4775 days ago, the information mentioned may be changed or developed.

需求：
1.每天入库50万条
2.有group by的需求
3.group by的字段不定

这个是一个报表系统，目前看来只有分表的方法解决。但是分表后怎么查询又是一个问题，因为需要group by多个表的内容。

想看一下淘宝myfox的实现，但是技术不足，nodejs和php都不是很了解。而且myfox很久没更新了。。

各位有没有遇到类似的问题？

4 replies • 1970-01-01 08:00:00 +08:00

1

fatkun

OP

Apr 24, 2013

mysql cluster 是否可以解决这个问题？稳定性？

2

fatkun

OP

Apr 24, 2013 via Android

木有人回复。。自己顶一下

3

VYSE

Apr 25, 2013

@fatkun cluster是为HA设定的，NDB性能远不如INNODB，坚持现有schema的话，只能推荐你使用PerconaDB。如果数据量总量不高，只是行数很多的话，不分表针对group by的字段加索引也没太大问题吧。

4

fatkun

OP

Apr 25, 2013 via Android

@VYSE 总量应该有3000万以上的，目前group by的字段个数不定，可以用户自己选。。所以还不能做联合索引。。。我看看perconaDB。

About · Help · Advertise · Blog · API · FAQ · Solana · 1448 Online Highest 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 31ms · UTC 17:03 · PVG 01:03 · LAX 10:03 · JFK 13:03
♥ Do have faith in what you're doing.