最近在写爬虫，没有代理 IP 没法搞，请问大家，scrapy 的代理 IP 哪里搞？极光的代理 IP 太贵了，有没有便宜点的？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2921 days ago, the information mentioned may be changed or developed.
 |
SpiderXiantangNov 7, 2018
1
便宜的可用率低，可用率高的又贵
|
 |
2
@SpiderXiantang 是的 是的 纠结的一笔
|
|
3
@SpiderXiantang 能问下 您用的啥么？
|
|
SpiderXiantangNov 7, 2018
4
@moxiaowei 芝麻 可以给 n 个蜘蛛用 不过有点贵
|
|
5
@SpiderXiantang 谢谢 我来看下 。
|
 |
glacerNov 7, 2018
6
需求量小的话，用 IPProxyPool 来爬免费代理，可以有大概 100 个左右可用的 ip。https://github.com/qiyeboy/IPProxyPool
需求量大的话就只能买代理服务，或者动态 vps 搭 squid 来实现。 |
 |
iovenNov 7, 2018
7
买些垃圾 vps 自己搭建
|
|
SpiderXiantangNov 7, 2018
8
@glacer 免费代理实际效果不是很理想
|
|
9
就是 不是有个西刺么 上面的 IP 多的 但是都不能用 垃圾的一笔
|
 |
hellove1985Nov 7, 2018
10
以前用过一段时间这个免费的 https://github.com/fate0/proxylist，不知道现在还能不能用。
|
|
11
@hellove1985 好的 我来看看
|
 |
princelaiNov 7, 2018 via Android
12
我用大象，便宜给得多，可用率没算过，估计不高，冲 10 块钱用一个月
|
 |
kdwyczNov 7, 2018
13
很好奇 ip 代理服务的 ip 来源是什么
|
 |
xiaobai9927Nov 7, 2018
15
免费代理都不靠谱，100 个 IP 中有一两个可用已经很好了。
而大部分便宜的代理也不靠谱，买过几个小时和一天和一个月的，几块钱那种，反正不能爬。要么连接不上，要么 403， 有好的介绍下，同求。。。 |
 |
kr380709959Nov 7, 2018
16
蘑菇代理还不错，之前爬的时候用过。可靠性高，价格也不算很高，主要是按次收费
|
 |
WildCatNov 7, 2018
17
|
 |
JCZ2MkKb5S8ZX9pqNov 7, 2018
18
我的方案，自己写个工具，定器爬取世面上的免费代理，测速，然后把好用的拿出来轮流使用。
|
|
19
@JCZ2MkKb5S8ZX9pq 我拿到代理 IP 也会验证的，不过有个问题是，这一刻能用，并不能保证下一刻也能用，所以，轮流使用我感觉不靠谱
|
|
JCZ2MkKb5S8ZX9pqNov 7, 2018
20
@moxiaowei 调用方法我也检测的，好用不好用的都打标记，好用的继续排队，不好用的后台定期重试，超过次数丢弃。
|
 |
eastlhuNov 7, 2018 via iPhone
21
@JCZ2MkKb5S8ZX9pq #18 羊毛高手
|
 |
ji4ozhuNov 7, 2018
22
www.54nb.com 挂机宝了解一下
|
|
23
@JCZ2MkKb5S8ZX9pq 我已经解决了。开线程验证，很快就验证完，然后立刻使用，这样成功率相对高了很多
|
|
JCZ2MkKb5S8ZX9pqNov 8, 2018
24
@moxiaowei 那蛮好。我那时候是碰到腾讯的云防火墙，单 ip 太频繁会被 b，所以不得不排队。
|
 |
sw10Nov 25, 2018
25
|
Select Language