1
Immortal 2018-03-27 10:11:45 +08:00
上集群 es
|
2
feverzsj 2018-03-27 10:24:06 +08:00
分表
|
3
polymerdg 2018-03-27 10:33:26 +08:00
学术搜索?
|
4
FiveDDD 2018-03-27 10:41:28 +08:00
这种用 es 似乎会更方便使用吧
|
5
polymerdg 2018-03-27 10:48:02 +08:00
100 亿 1bit 都是 快 10G 了
|
6
Tyris 2018-03-27 11:11:18 +08:00 via Android
scihub ?
|
7
ZSeptember 2018-03-27 11:11:23 +08:00
这个不就是一个简单的爬虫,加数据展示吗。
现在主流的开源搜索方案就是 ES,这个量级肯定是没问题的。 爬虫可以用 kafka 做异步写入 |
8
owenliang 2018-03-27 11:19:33 +08:00
ES 检索,这种 文献类 - 全量 - 全文检索需要吃大量的内存和 CPU,做好心理准备。
|