我主要想了解,如果做了一爬虫,跑了一会,被封了,然后必须换一个 IP 吗?
我就 2 个 vps 。要是都被封了,岂不是要去买代理服务器?
我就 2 个 vps 。要是都被封了,岂不是要去买代理服务器?
1
feng123456 Jan 9, 2017 大哥,爬虫一定要用网上的免费 ip 池啊。
另外 ip 解封时间是对方网站自己设置的,一般默认不超过 24 小时。 |
2
cute Jan 9, 2017
有专门卖代理的
|
3
wyntergreg Jan 9, 2017
跑一小会就被封了,你没设置间隔时间啊
被识别成恶意流量了吧 |
4
qa2080639 Jan 9, 2017
很多免费 ip 啊 拿质量好的用。做好模拟
|
5
zhaixiaohu Jan 9, 2017
很多公司都是用公有云,然后一个月换一次 ip , ip 一次只买一个月的。
|
6
zhaixiaohu Jan 9, 2017
你要是个人,摸清规律后,可以买按配置付费的那种,封了就重新买一个新的。
|
7
484A4B Jan 9, 2017
|
8
GWesley Jan 9, 2017
首先肯定需要弄个 ip 池
抓取间隔不要过短 抓取时间加入一定随机性 |
10
scnace Jan 9, 2017 via Android
你需要代理池~ site 搜一下 Github IP ProxyPool
|
13
mengskysama Jan 9, 2017 |
14
aitaii Jan 9, 2017 爬虫的第一步,先爬代理池.
|
15
HmyBmny Jan 9, 2017
应该很快就会解封的,试想一下如果一个办公室几十个人用同一个 WIFI ,因为某人恶意访问而将 IP 封掉会影响另外几十个人的。
|
16
ichubei Jan 9, 2017 via Android
也可能永久封掉
|
20
xiaoshangmin Jan 12, 2017 via iPhone
除了封 ip 会出现验证码之类的吗
|