socks 代理池

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 3017 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近在做一个爬虫，链接是 https 的，所以需要 https 代理或者 socks 代理，大家是如何找到可靠的代理池呢？可能需要 1 千个代理以上。免费或者付费的都可以说下，谢谢。

代理池

socks

代理

付费

28 条回复 • 2016-08-14 13:45:36 +08:00

UnisandK

2016-08-06 16:28:59 +08:00

不需要并发的话可以用 tor 或者 adsl vps

lhbc

2016-08-06 16:30:02 +08:00 via Android

支持 connect 的 http 代理也是可以的。

kera0a

2016-08-06 16:40:12 +08:00

链接是 https 的，
那么用 http 代理也是可以的。

regeditms

2016-08-06 16:45:59 +08:00

@UnisandK
@lhbc
@kera0a 需要并发，就是因为需要并发哈，这样的代理是哪里找，我之前想过按量付费用阿里云，只要几个小时就可以，但是还要自己搭建代理环境，不省心。要求代理可用性要比较高。

lgsr

2016-08-06 17:47:45 +08:00

ADSL 拨号，挂机宝

regeditms

2016-08-06 17:56:22 +08:00 via Android

@lgsr 谢谢哈，不过我是同时需要，并发的。

nyanyh

2016-08-06 18:09:37 +08:00

以前做过小爬虫，买过包月 300 不限量的 http 代理，没使用过 socks 代理。但是高并发访问成功率太依赖代理 IP 本身的速度了，很多代理池根本达不到自己宣传的那么高有效率
建议 Google 几家卖代理的网站，买点几块钱一天的试用卡提取点 IP 试下，能满足需求再多买吧

regeditms

2016-08-06 18:14:34 +08:00 via Android

@nyanyh 好的感谢分享，问下自己按量付费阿里云搭建你感觉怎么样？

anexplore

2016-08-06 18:26:18 +08:00

@regeditms 以前看帖子有人说过阿里按量付费貌似比较坑，可以搜搜看看

nyanyh

2016-08-06 18:28:47 +08:00

r#8 @regeditms 贵。最便宜的机器也要 0.5-1 元 /小时了，流量价格另算。我用阿里云的时候还不能换 IP 不知道现在可不可以，要是爬的时候对方封了代理 IP 又要重新折腾服务器。当然要是爬的时间短而且不缺钱的话就另说了

terranboy

2016-08-06 20:44:29 +08:00

GOOGLE 搜 PRIVATE PROXY

SlipStupig

2016-08-06 21:17:43 +08:00

@nyanyh 一个 ip 才 30 块钱一个月，主机一个月 60 ，也就是 90 ，你动态释放 IP 就行，如果你觉得一个 IP 慢了可以用两个对换着释放绑定，一点也不贵！

regeditms

2016-08-06 21:31:37 +08:00

@SlipStupig 主要是我需要几分钟内 1000 个代理服务器。

regeditms

2016-08-06 21:35:32 +08:00

@terranboy 看了下挺贵的，我只需要大概 4 个小时。
@nyanyh 我就需要 4 个小时大概爬几次就可以了。如果有脚本可以批量创建主机，批量架设代理服务器就好了。

nyanyh

2016-08-06 21:39:17 +08:00

r#12 @SlipStupig 1 2 个确实不贵， LZ 需要 1000 个就……

BMW

2016-08-06 22:14:38 +08:00

高可用的代理 ip 池，一直是个难题，难点在于不想花钱。

regeditms

2016-08-06 22:43:23 +08:00

@BMW 算是这样吧，我看到国外有，不过都是按月付费算起来， 500 个代理算起来大几千了。我就使用几个小时就可以了。

regeditms

2016-08-06 22:44:08 +08:00

@nyanyh 问下用国外的 socks 代理，正常的网页访问会被 gfw 切断吗？

liubo

2016-08-07 00:32:17 +08:00

可以试试用香港的主机，配合 multi-tor 。
我之前最快的速度大概是单台机器一天抓了某个网站 150 多万的数据。

lemontv

2016-08-07 01:00:26 +08:00

matt ？

crab

2016-08-07 01:04:42 +08:00

限制那么厉害别想高并发了。
代理失效快，响应慢， ADSL 拨号，多租几台跑。

SlipStupig

2016-08-07 01:08:53 +08:00

@nyanyh 你每次买一个，用完就释放掉，算的还是一个的钱，但是你同时挂 1000 个就是算一千个的钱，但是这样 IP 没有充分利用起来啊！
你估计没明白我意思:
现在有 IP1 IP2 （两个都是包月的）：
1.ip1 权重 100 ， ip2 权重 50,所以服务器出口是 ip1
2.当过了一分钟后， ip1 卖掉就不再计费，这么时候 ip2 权重为 100, 是程序的唯一出口
3.买入 ip3 ，这么时候 ip3 权重为 50 ，但是总数没有变化，始终是两个 IP

伪代码：

ip_list = []

while 1:

while len(ip_list) < 2:
ip_list.append(buy_new_ip())

set_weight(ip_list[0]， 100)
set_weight(ip_list[1], 50)
wait_time(60)
ip_list.pop(0)