这是一个创建于 550 天前的主题，其中的信息可能已经有所发展或是发生改变。
随机浏览器头和限速都试了。还是被封。代理 ip 也找不到很多
 |
1
vcbal 2023-05-22 10:29:01 +08:00
你看下是不是有特殊的接口，或者特殊的 http 头，这个是根据网站来，不同网站不同的反爬机制
|
 |
2
brader 2023-05-22 10:36:32 +08:00
禁不禁你 IP ，是看别人网站开发者的反爬机制决定的，不是你能控制的
|
 |
3
qrobot 2023-05-22 10:40:50 +08:00  3
参照隔壁 v2explus, 分布式爬虫, 每人每天执行任务
|
 |
4
cosmain 2023-05-22 10:59:32 +08:00
策略：“如果一个 IP 五分钟内访问了 1000 个页面，禁止 ip 访问 24 小时”
这任你怎么折腾都不行，除非换 ip |
 |
5
glfpes 2023-05-22 11:12:40 +08:00
单 ip 是不可能做爬虫的
|
 |
6
cnrting 2023-05-22 11:17:17 +08:00 via iPhone
这是能问的吗🐶
|
 |
7
8355 2023-05-22 11:21:44 +08:00
爬的本质就是增加成本破解反爬
反爬的本质就是通过增加爬的成本来反爬 |
 |
8
dawn009 2023-05-22 11:25:19 +08:00
随机浏览器头有可能特征更明显。有些 UA 在正常用户中是很少见的，足够触发反爬规则了。
|
 |
9
blankmiss 2023-05-22 11:32:33 +08:00
代理池即可
|
 |
10
ding2dong 2023-05-22 11:33:58 +08:00
无解，掏钱上动态代理 ip
|
 |
11
maxssy 2023-05-22 13:52:58 +08:00
用别人的 IP
|
 |
12
gablic 2023-05-22 13:53:21 +08:00
网上买代理 ip 资源吧
|
 |
13
cherryas 2023-05-22 14:50:04 +08:00
爬网站的 ipv6 地址 (有的概率很低)
|
 |
14
locochen 2023-05-22 15:31:32 +08:00
欢迎试用 `https://www.bright.cn/`
|
Select Language