有获取 IP 的 API，因为代理商的限制条件每个 IP 只存在 5 分钟-20 分钟不等。
之前有尝试添加 threadiing 模块下的 timer 模块，但是好像不是很理想。所以想请教一下各位。
如何做到在主函数不停止运行的情况下，每 5 分钟更换一个 IP，然后爬虫继续运行
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2339 days ago, the information mentioned may be changed or developed.
34 replies • 2020-07-09 10:17:57 +08:00
 |
lijia168Jun 12, 2020
1
我之前那样子弄的，代理 ip 有个过期时间， 判断时间是否过期，过期了再重新取代理 ip
|
 |
kiracyanJun 12, 2020
2
居然是五分钟换一个 一般不是从 ip 池里面随机取的吗 然后更新缓存池就好了
|
 |
ikJun 12, 2020 via iPhone
5
楼主的意思是爬虫里面逻辑不好定时更新代理对吧？
可以试试用脚本配合 haproxy , iptables , cow 等方式实现定期更新端口转发 |
 |
optionalJun 12, 2020
6
计算机里解决不了的问题就加一层。
爬虫的 ip 从 cache 里取， 有个线程定时维护 cache 。 |
|
ikJun 12, 2020 via iPhone
7
这样爬虫内使用的代理始终都是固定不变的， 只是可能需要解决重启转发服务时可能出现的异常
|
 |
huayunbinJun 12, 2020
8
可以写个程序维护一个 ip 池，暴露个取 ip 的口子出去，爬虫直接取就行了。
|
 |
312ybjJun 12, 2020
12
老铁，你的 ip 代理从哪弄得
|
 |
nullboyJun 12, 2020
13
我怎么试了几个代理服务商都很垃圾，根本没法用
|
 |
14
@312ybj 在一个 IP 代理池的项目里，然后有推荐 IP 代理网站，我的那个是按个卖的，9 元 1000 。没法，公司不掏大钱，只能小钱买这种了
|
 |
aladdindingdingJun 12, 2020
15
在用快代理他们隧道代理 还行
|
|
aladdindingdingJun 12, 2020
17
用 redis 呗 或者自己起一个线程维护一个可以用的 ip 池
|
 |
18
阿布云，一个请求换一次 ip，不按数量收费按时间，不香吗
|
1
 |
batyuJun 12, 2020
21
看了评论才明白隧道代理是干嘛用的！
|
 |
lawlerJun 12, 2020
24
超时重试，第二次失败，切换 IP 。
|
 |
gxlonlineJun 12, 2020 via Android
25
可以试下 酷鱼代理 私密代理 隧道代理
|
 |
biu7Jun 12, 2020
26
9 元 1000 听上去像是讯代理。。。
|
 |
wangyzjJun 12, 2020
27
之前我是淘宝买可以带换 ip 软件的 vps，各种换
|
 |
toomloJun 13, 2020
28
问题是 如果把 Ip 取出来就开始计时了，到点就过期了
----------- 第一次用 ip 的时候才去代理商那里取,然后在存到代理池里面啊 不一定非得先取了 ip 在用啊 |
 |
airdgeJun 14, 2020
30
ip 设置有效期啊,数据过期就重新获取
写入缓存或者文本 |
 |
xiaozizayangJun 14, 2020
31
利用买的代理来源做个代理池就行，爬虫服务从代理池那代理进行请求
另一个保证代理池服务都是可用的就行 |
 |
dorothyRENJun 14, 2020
32
存到 redis 里面 设置个超时时间，这样只要 redis 里面有，那就是有效的
|
 |
g079708Jun 29, 2020 via iPhone
33
可以试一下快鸟代理，他们的短效代理 IP 有 1 分钟到 24 小时的时长任你选择，提取不收费，按使用收费。
|
|
gxlonlineJul 9, 2020
34
可以用隧道代理，省去更换代理的步骤，云端自动切换 IP 。
酷鱼代理 https://kuyukuyu.com 隧道代理 |
Select Language