系统功能:
( 1 )自动爬取互联网上公开的免费代理 IP (目前已支持西刺代理、快代理、IP181 )
( 2 )周期性验证代理 IP 有效性
( 3 )提供 http 接口获取可用 IP
系统逻辑架构:
https://raw.githubusercontent.com/lsdir/proxypool/master/image/architecture.png
GitHub:
https://github.com/lsdir/proxypool
各位大佬:
抓取的 IP 质量好差,有没有什么好的替换方案?
或者程序方面的其他建议都可以交流。
1
rootsir 2017-12-25 09:53:33 +08:00
花钱买
|
2
shmon 2017-12-25 09:58:31 +08:00
买
|
3
tq08iue 2017-12-25 10:33:47 +08:00
免费的通常都没什么质量,像那些大量用这种代理刷人气之类的都是买的,一个 IP 可能几块钱甚至更低。
|
4
mmz0707 2017-12-25 10:47:38 +08:00
买高匿的要靠谱些吧
|
5
yangzhezjgs 2017-12-25 11:22:16 +08:00 1
买,你可以去阿布云之类的,一块钱买一个小时先试一下
|
6
vtwoextb 2017-12-25 11:26:13 +08:00
|
7
ioven 2017-12-25 11:38:37 +08:00
对验证完成的 IP 根据端口、所在地进行分类,然后配置扫描
|
8
zbl430 2017-12-25 11:44:38 +08:00
鲲鹏代理
|
9
cdwyd 2017-12-25 11:48:15 +08:00
就算是收费的很多也是垃圾 拨号 vps 最好用
|
11
Zzde 2017-12-25 14:16:22 +08:00
质量差中调最好的来用
|
13
dongxiaozhuo 2017-12-25 14:54:21 +08:00 via iPhone
买
|
15
jeterli 2017-12-25 19:24:52 +08:00
VerifyProxy 可以做成针对目标检测,代理对于不同站点的可用性可能还不一样(比如已经被 Ban ),尤其这种开放的。
|
17
lhx2008 2017-12-25 20:45:18 +08:00 via Android
买吧,很多收费的自己的服务器揽了家庭宽带的 ip,不是扫的
|
18
Soar360 2017-12-25 22:26:02 +08:00 2
又得秀一波我写的了。最近爬虫用的很 high ~
https://proxy.coderbusy.com/ |
19
mztql 2017-12-26 04:11:03 +08:00 via iPhone
首先有免费的 api,但是免费代理的时效性和连通率都差太多了,最优的是拨号 vps
|
20
dirls OP 感谢各位 V 友回复<br>
总结起来 2 种替代方案:<br> 1、花钱买<br> 2、自己拉网线自动拨号重启切换 IP<br> 无奈以后爬虫要部署在阿里云之类的云主机的,拨号方案不可取。花钱买代理,系统太依赖别人,IP 质量也参差不齐,嘤嘤嘤。 |
21
huanter 2017-12-26 13:45:50 +08:00
@dirls
我也初学 PYTHON 我用的你的代码试着添加一个 Plugin 网址如: https://proxy.coderbusy.com/zh-cn/classical/anonymous-type/transparent/p2.aspx 但报错了。 Log 如下: 。 。 。 2017-12-26 13:26:49,535 connectionpool.py[line:805] INFO Starting new HTTPS connection (1): proxy.coderbusy.com 2017-12-26 13:26:49,541 getproxy.py[line:71] ERROR request error, spider plugin: 码农, url: https://proxy.coderbusy.com/zh-cn/classical/anonymous-type/transparent/p9.aspx/, error: maximum recursion depth exceeded 。 。 。 求解答。 谢谢!!! |
22
hjuj91 2017-12-29 21:10:21 +08:00
为啥不用 tor ?
|