V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2729 days ago, the information mentioned may be changed or developed.
最近在写爬虫，没有代理 IP 没法搞，请问大家，scrapy 的代理 IP 哪里搞？极光的代理 IP 太贵了，有没有便宜点的？
 |
1
SpiderXiantang Nov 7, 2018
便宜的可用率低，可用率高的又贵
|
 |
2
moxiaowei OP @SpiderXiantang 是的 是的 纠结的一笔
|
|
3
moxiaowei OP @SpiderXiantang 能问下 您用的啥么？
|
|
4
SpiderXiantang Nov 7, 2018
@moxiaowei 芝麻 可以给 n 个蜘蛛用 不过有点贵
|
|
5
moxiaowei OP @SpiderXiantang 谢谢 我来看下 。
|
 |
6
glacer Nov 7, 2018
需求量小的话，用 IPProxyPool 来爬免费代理，可以有大概 100 个左右可用的 ip。https://github.com/qiyeboy/IPProxyPool
需求量大的话就只能买代理服务，或者动态 vps 搭 squid 来实现。 |
 |
7
ioven Nov 7, 2018
买些垃圾 vps 自己搭建
|
|
8
SpiderXiantang Nov 7, 2018
@glacer 免费代理实际效果不是很理想
|
|
9
moxiaowei OP 就是 不是有个西刺么 上面的 IP 多的 但是都不能用 垃圾的一笔
|
 |
10
hellove1985 Nov 7, 2018
以前用过一段时间这个免费的 https://github.com/fate0/proxylist，不知道现在还能不能用。
|
|
11
moxiaowei OP @hellove1985 好的 我来看看
|
 |
12
princelai Nov 7, 2018 via Android
我用大象，便宜给得多，可用率没算过，估计不高，冲 10 块钱用一个月
|
 |
13
kdwycz Nov 7, 2018
很好奇 ip 代理服务的 ip 来源是什么
|
 |
15
xiaobai9927 Nov 7, 2018
免费代理都不靠谱，100 个 IP 中有一两个可用已经很好了。
而大部分便宜的代理也不靠谱，买过几个小时和一天和一个月的，几块钱那种，反正不能爬。要么连接不上，要么 403， 有好的介绍下，同求。。。 |
 |
16
kr380709959 Nov 7, 2018
蘑菇代理还不错，之前爬的时候用过。可靠性高，价格也不算很高，主要是按次收费
|
 |
17
WildCat Nov 7, 2018
|
 |
18
JCZ2MkKb5S8ZX9pq Nov 7, 2018
我的方案，自己写个工具，定器爬取世面上的免费代理，测速，然后把好用的拿出来轮流使用。
|
|
19
moxiaowei OP @JCZ2MkKb5S8ZX9pq 我拿到代理 IP 也会验证的，不过有个问题是，这一刻能用，并不能保证下一刻也能用，所以，轮流使用我感觉不靠谱
|
|
20
JCZ2MkKb5S8ZX9pq Nov 7, 2018
@moxiaowei 调用方法我也检测的，好用不好用的都打标记，好用的继续排队，不好用的后台定期重试，超过次数丢弃。
|
 |
21
eastlhu Nov 7, 2018 via iPhone
@JCZ2MkKb5S8ZX9pq #18 羊毛高手
|
 |
22
ji4ozhu Nov 7, 2018
www.54nb.com 挂机宝了解一下
|
|
23
moxiaowei OP @JCZ2MkKb5S8ZX9pq 我已经解决了。开线程验证，很快就验证完，然后立刻使用，这样成功率相对高了很多
|
|
24
JCZ2MkKb5S8ZX9pq Nov 8, 2018
@moxiaowei 那蛮好。我那时候是碰到腾讯的云防火墙，单 ip 太频繁会被 b，所以不得不排队。
|
 |
25
sw10 Nov 25, 2018
|
Select Language