zyy1245367562's recent timeline updates zyy1245367562's recent timeline updates |
zyy1245367562V2EX member #258718, joined on 2017-10-10 20:42:05 +08:00 |
| scrapy 中使用 MongoDB 数据库存储抓取到的 IP，判断新抓的 IP 在数据库中是否已经存在，如果存在则不再添加，不存在则插入这条数据，但是执行结果总是不对？ Python • zyy1245367562 • Dec 6, 2017 • Lastly replied by toono | 14 |
zyy1245367562's recent replies
Jan 28, 2018 Replied to a topic by Codewj › Python › Python 分布式的一点小疑问 |
所谓分布式其实就是人多好干活儿，通过队列利用多台机器来提高抓取速度，获取的数据如何存放，不是其根本要解决的痛点。
Dec 5, 2017 Replied to a topic by zyy1245367562 › Python › scrapy 中使用 MongoDB 数据库存储抓取到的 IP，判断新抓的 IP 在数据库中是否已经存在，如果存在则不再添加，不存在则插入这条数据，但是执行结果总是不对？ |
@lihongjie0209 嗯，受教了。谢谢前辈。
Dec 5, 2017 Replied to a topic by zyy1245367562 › Python › scrapy 中使用 MongoDB 数据库存储抓取到的 IP，判断新抓的 IP 在数据库中是否已经存在，如果存在则不再添加，不存在则插入这条数据，但是执行结果总是不对？ |
@fds 嗯，你说的对，这一点确实没有考虑到。
Dec 5, 2017 Replied to a topic by zyy1245367562 › Python › scrapy 中使用 MongoDB 数据库存储抓取到的 IP，判断新抓的 IP 在数据库中是否已经存在，如果存在则不再添加，不存在则插入这条数据，但是执行结果总是不对？ |
@kenzh 你的建议可以实现。谢谢。
Dec 3, 2017 Replied to a topic by zyy1245367562 › Python › scrapy 中使用 MongoDB 数据库存储抓取到的 IP，判断新抓的 IP 在数据库中是否已经存在，如果存在则不再添加，不存在则插入这条数据，但是执行结果总是不对？ |
怎么没有前辈来指教一下呢？
Select Language