 |
1
oaix Jun 25, 2018
是很慢的. 简单字段匹配也是要把整个 es 扫一遍.
spark 读带 shard 的 mongo 会快一点. 最好是把 es 的数据定期写到 hdfs 里面去. |
 |
2
Mvpanswer7 OP @oaix 用 elasticsearch-spark 是会 pushdown 的啊，而且是 scroll 方式
|
|
3
oaix Jun 25, 2018
@Mvpanswer7 你可以把 `用 elasticsearch-spark 是会 pushdown 的啊` 的来源发出来吗？
rdd 在 filter 的时候，传参是你自定义的 java 方法，我不认为 elasticsearch-spark 可以这个自定义的过滤翻译成一个 es 查询。 |
|
4
oaix Jun 26, 2018
我知道你说什么了, 你用的是 spark SQL
|
 |
5
bzzhou Jun 26, 2018
贴一下 explain ？确认查询是否真的 pushdown 到了 es
|
|
6
Mvpanswer7 OP @oaix 是的是的
|
|
7
Mvpanswer7 OP @bzzhou 能打印出来 pushdown 后的 query 里确实有 sql where 里的条件
|
Select Language