这是一个创建于 1619 天前的主题，其中的信息可能已经有所发展或是发生改变。
之前写一个爬虫,爬好数据直接就存进 MongoDB 了.存入代码如下
'''
def save(dic):
if table.find_one(dic):
print('已经有数据 ,跳过',dic['info_title'])
return
table.insert(dic)
print('保存成功', dic['info_title'])
'''
运行都是正常的..但是我看 cpu 占用的时候 MongoDB 进程已经 80%上下了..有时候还是 100%
刚开始学,,以前一直没想到怎么解决这个问题..基本都是按照上面方法写的.感觉方便.但是随着数据扩大,估计扛不住了.
请问大神是怎么做的呢?提高效率,减少占用.
 |
1
itskingname 2020-06-11 18:56:09 +08:00
不要用太多的字段去查下。如果一个字段就能查到，那么只用这一个字段。
并且给重复的字段加个索引。 |
 |
2
gabon 2020-06-11 19:03:29 +08:00 via Android
布隆过滤器了解一下
|
 |
3
njshiyanhz 2020-06-12 11:13:50 +08:00
看上去像是用所有字段来去重的；
建议只用 url 或者标题等，能标识该数据唯一的字段进行查询，并把该字段加上索引； 如果还是要用所有字段去重，那就把所有字段的值 md5 一下，拿 md5 查询，索引别忘 |
 |
4
sadfQED2 2020-06-12 17:08:07 +08:00 via Android
你没加索引吧，另外，只是查重的话考虑布隆过滤器
|
 |
5
llsquaer OP @njshiyanhz 总共 6 个字段,分析了 6 个字段必须要同时查,,不然会出现某个字段是重复,其他不重复的情况,,会跳过一部分内容,,MongoDB 用的默认的配置,,没研究过怎么建立索引..我去研究下...谢谢..
|
Select Language