一次请求需要从提交的数据中获取一个数组 A,然后,从数据库中遍历某张表的字段 B。最后通过一系列的计算(计算过程包含数组 A 和 B ),每条数据算出一个值,取最高的几个值返回给请求方?请问这样需求有什么好的实现方案,响应时间越短越好。 谢谢!
1
Immortal 2017-07-06 21:55:02 +08:00
能看懂有鬼了- -
|
2
Hieast 2017-07-06 22:04:57 +08:00
楼主名字很好玩,itertools,再加个 nlargest、map, 应该可以解决楼主的问题了。
|
4
uxstone 2017-07-06 22:35:46 +08:00
找个合适的数据结构,先把表中的数据取出来,在代码中写具体的运算逻辑 ?
|
6
Hieast 2017-07-06 23:25:15 +08:00 via Android
|
7
cszeus 2017-07-07 03:33:00 +08:00
在 B 上面建索引,然后用多线程或者多进程,把 B 里面的东西分成多个部分取出来,分别算,再一起取最大?
本来上千万条的数据,不需要分表么? |
8
lxml 2017-07-07 08:43:34 +08:00 via Android
虽然不太清楚具体 B 是什么数据,但一个思路吃把 B 按照跳表的方式弄个多层索引,尽快的优化找 B 的速度。
|
9
Miy4mori 2017-07-07 09:42:25 +08:00 via iPhone
我觉得直接用存储过程快吧,要是读到代码里再算估计 io 开销就够喝一壶了。
|
10
caniuse 2017-07-07 17:06:24 +08:00
感觉适合用 mapreduce 思想,把任务分割成小任务分配到其他机器上并行
|