运营商普遍不给公网 IP 之后是不是对爬虫是个好事儿？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 2670 天前的主题，其中的信息可能已经有所发展或是发生改变。

如题

是不是意味着被爬目标通过限制 IP 访问频率不如以前奏效了呢？

8 条回复 • 2017-08-03 16:33:26 +08:00

lgh

2017-08-03 12:47:42 +08:00 via iPhone

不是更容易被误伤了吗？

neurocomputing

2017-08-03 13:02:55 +08:00

@lgh 是的，所以 IP 频率限制会逐渐变松，否则就有可能拦住很多正常用户了吧

jiangzhuo

2017-08-03 13:23:30 +08:00

理论上讲公开的网站是禁止不了爬虫的对不对？
我们这有款智能路由产品可以提供代理功能，可以通过平台使用这些家用路由作为爬虫代理，不知道对这种产品有没有兴趣（这只是实验产品

nodeath

2017-08-03 14:25:22 +08:00

通过 ip 限制爬虫很头疼，云爬虫 ip 库量非常大

XiaoxiaoPu

2017-08-03 14:31:07 +08:00 via iPhone

@jiangzhuo 这叫智能？明明是流氓。

neurocomputing

2017-08-03 14:36:30 +08:00

@jiangzhuo 这主题都有机会插进来广告。。。

UnisandK

2017-08-03 14:51:37 +08:00

@jiangzhuo 老铁，你家智能路由叫什么，以后我买的时候绕着走

jiangzhuo

2017-08-03 16:33:26 +08:00

@XiaoxiaoPu #5
@neurocomputing #6
@UnisandK #7
这产品还在停留在原型阶段，我觉得也不会真正成为产品
要绕路的，我建议还是买回去刷自己喜欢的系统吧，牌子型号太多。