V2EX › awolfly9 的所有回复 › 第 16 页 / 共 25 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 8 9 10 11 12 13 14 15 16 17 ... 25

❮

❯

2017-02-15 12:43:27 +08:00

回复了 awolfly9 创建的主题 › Python › 听说今天情人节。开源一个爬虫代理框架，各位大神轻喷

@fuxkcsdn 我只抓了首页，因为在之前的测试中发现后面的很多 IP 都失效了，抓下来也没什么作用。如果想要抓取多页，只需要到 sixsixip.py 中 self.urls = ['http://m.66ip.cn/%s.html' % n for n in range(1, 2)] 更改 2 为想要抓取的页数

2017-02-15 08:59:38 +08:00

回复了 awolfly9 创建的主题 › Python › 听说今天情人节。开源一个爬虫代理框架，各位大神轻喷

@botman 现在是一个站点一个脚本，非常方便维护，而且相互之间可以没有影响和关联

2017-02-14 19:49:32 +08:00

回复了 awolfly9 创建的主题 › Python › 听说今天情人节。开源一个爬虫代理框架，各位大神轻喷

@yuansmin 你说的很对

2017-02-14 19:49:10 +08:00

回复了 awolfly9 创建的主题 › Python › 听说今天情人节。开源一个爬虫代理框架，各位大神轻喷

@holyzhou 可用的代理 ip 会随着时间的增加而增加。由于我抓取的站点比较少，而且那些站点更新免费 ip 也很慢，所以有效的 ip 会随着时间增加而不断积累。失效的 ip 会被淘汰。

2017-02-14 12:31:36 +08:00

回复了 awolfly9 创建的主题 › Python › 听说今天情人节。开源一个爬虫代理框架，各位大神轻喷

@mclxly 以后开一个分支出来用 python3

2017-02-14 11:04:29 +08:00

回复了 awolfly9 创建的主题 › Python › 听说今天情人节。开源一个爬虫代理框架，各位大神轻喷

@ijustdo 是有代理验证的。抓取，验证，然后提供接口。

2017-02-14 09:35:34 +08:00

回复了 awolfly9 创建的主题 › Python › 听说今天情人节。开源一个爬虫代理框架，各位大神轻喷

@Felldeadbird 抓取的所有免费 ip 或插入到表 free_ipproxy .如果验证之后的有效 ip 会放在单独的表里面。具体表名可以配置，例如抓取豆瓣就放在 douban 中。然后 free_ipproxy 每次抓取的时候回删掉半个小时之前的数据。代理 ip 验证会先验证当前表中之前已经验证过的代理，如果不可用就从当前表中移除，然后在验证 free_ipproxy 中的代理，如果可用就加入到表中。

2017-02-14 07:21:37 +08:00

回复了 awolfly9 创建的主题 › Python › 听说今天情人节。开源一个爬虫代理框架，各位大神轻喷

@deleted 共同进步

2017-02-14 07:17:39 +08:00

回复了 awolfly9 创建的主题 › Python › 听说今天情人节。开源一个爬虫代理框架，各位大神轻喷

@imcocc 最开始就是尝试用的 splite ，后来改成 mysql 是为了数据更长久的保存，以及后续分布式部署。

@uzumaki 如果有什么问题，请给我反馈

@songdezu 目前的做法是从服务器端口获取到 ip list 之后，在 scrapy 请求的 Middleware 中循环从 ip list 中取 ip ，如果发现 ip 不可用就马上删除 ip 。当 ip list 剩余很少时，重新向服务器请求。具体可以参考我后续开源的利用这个代理 ip 抓取豆瓣电影以及书籍的爬虫

2017-02-13 23:57:09 +08:00

回复了 holinhot 创建的主题 › 生活 › 女友说情人节想要个 macbook pro

[http://i.imgur.com/o298U3x.jpg]

2017-02-12 23:42:05 +08:00

回复了 liangmishi 创建的主题 › 求职 › pythoner 求一兼职

@liangmishi 好啊，微信： QXdvbGZseQ==(base64)

2017-02-12 22:18:29 +08:00

回复了 liangmishi 创建的主题 › 求职 › pythoner 求一兼职

@piero66 楼主优先

@liangmishi 优先

2017-02-12 15:58:23 +08:00

回复了 liangmishi 创建的主题 › 求职 › pythoner 求一兼职

同求，楼主优先