V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 2167 days ago, the information mentioned may be changed or developed.
现在的数据量是 1.5kw 左右，内容是 20 个以内的汉字，使用的 ik-skart 分词器。
 |
1
bolide2005 May 22, 2020  1
可以用 collapse 合并，不过要注意这个时候返回的 total_hit 仍旧是不合并的数目，如果要翻页的话那就配合 aggs/cardinality 来计算合并后的数量。还有 collapse 只能应用在 keyword 和 num 类型的字段上。
|
 |
2
zxc12300123 May 22, 2020
你这是要根据自然语言相似度去重吧
|
 |
3
pmispig May 22, 2020
看你是一次性的还是周期的长期的
要是一次性的话，感觉可以分页排序查询，在查询逻辑里做判断，然后删除重复的 id 文档 |
 |
4
zhangxu128 OP @zxc12300123 是的 存储的数据类型是 TEXT
|
|
5
zhangxu128 OP @bolide2005 好 我去研究一下
|
|
6
zxc12300123 May 22, 2020 via iPhone
@zhangxu128 余弦定理去重后再放进 ES
|
 |
7
Nostalgia Jan 30, 2023
@bolide2005 老哥，问下现在（ 2023.01 ）有更方便的获取 collapse 合并结果数目了么？现在有这个需求，但上面的方法有点儿丑陋呀
|
|
8
bolide2005 Jan 31, 2023 1
@Nostalgia #7 有几年没有关注这块了，不好意思，没有更新的消息能给到你
|
Select Language