V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 1353 days ago, the information mentioned may be changed or developed.
产品大致是用户添加关注的关键词，我们每隔一段时间从一部分预设平台抓取后提供给用户下载保存。用户只能看到自己创建的需要关注的数据（用户间不共享，因为我们的场景多个用户关注相同数据概率极低，搜索只需要字段全字匹配），后台可以根据一些字段（抓取时间范围，关键词（全字匹配），行业分类（全字匹配），抓取记录 ID 范围等）进行筛选。网站目前已经抓取了 6.6 亿条数据，单表存储，目前翻页查询非常缓慢（第一页耗时 20ms ，越往后翻页越慢），想问问有什么办法自动分表存储吗？（最新的 100 万条左右数据的访问频率远高于旧数据）
技术栈是 ASP.NET Core + Entity Framework Core 。因为搜索都只需要全字匹配，应该用不上 ES 吧？
技术栈是 ASP.NET Core + Entity Framework Core 。因为搜索都只需要全字匹配，应该用不上 ES 吧？
 |
1
edis0n0 OP 感觉有一些细节没描述清楚，补充一下。前后台都只有筛选（抓取时间范围，关键词（全字匹配），行业分类（全字匹配），抓取记录 ID 范围等）和批量导出功能，不需要搜索功能。同一个关键词最多累计只会有几百条结果，单个用户有可能关注上万个关键词。
|
 |
2
tqyq88 Aug 16, 2022
上 es 省事，keyword type 也不会分词
|
 |
3
hez2010 Aug 16, 2022
|
 |
4
siaronwang Aug 17, 2022
redis search
|
Select Language