scrapy 爬取代理，检查代理的程序放在 pipelines 里面合适吗？

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› Pocoo

值得关注的项目

› PyPy

› pyenv

Python 编程

› pep8 Checker

Styles

› PEP 8

This topic created in 3686 days ago, the information mentioned may be changed or developed.

使用 scrapy 爬取代理，如果想检查代理可用性的话，使用单独的程序检查合适呢，还是放在 pipelines 里面检查合适呢？

我是想通过并发的检查代理。

4 replies • 2016-10-03 19:22:00 +08:00

scnace

Oct 3, 2016 via Android

我的 proxypool 放在了 pipeline 里检查考虑到免费代理的生命周期和稳定性其实抓取代理并维护一个代理的数据结构开一个协程定期 selfcheck 我觉得更合适点。。。

hujianxin

Oct 3, 2016

@scnace 谢谢回复，我也觉得另起一个程序检查好，因为第一遍检查完了，它还是会过期的。另外请教一下，这个代理池使用一个表存储好呢还是使用两个表（一个存储没检查的，一个存储可用的）。这两种那一种方便呢？

scnace

Oct 3, 2016 via Android

@hujianxin 我用了一个 k v 表存(即所谓的“池”

dsg001

Oct 3, 2016

过期代理也不能完全抛弃，有些还会复活的