使用 scrapy 爬取代理,如果想检查代理可用性的话,使用单独的程序检查合适呢,还是放在 pipelines 里面检查合适呢?
我是想通过并发的检查代理。
1
scnace 2016-10-03 14:58:47 +08:00 via Android
我的 proxypool 放在了 pipeline 里检查 考虑到免费代理的生命周期和稳定性 其实抓取代理并维护一个代理的数据结构 开一个协程定期 selfcheck 我觉得更合适点。。。
|
2
hujianxin OP @scnace 谢谢回复,我也觉得另起一个程序检查好,因为第一遍检查完了,它还是会过期的。另外请教一下,这个代理池使用一个表存储好呢还是使用两个表(一个存储没检查的,一个存储可用的)。这两种那一种方便呢?
|
4
dsg001 2016-10-03 19:22:00 +08:00
过期代理也不能完全抛弃,有些还会复活的
|