这是一个创建于 1182 天前的主题，其中的信息可能已经有所发展或是发生改变。
因个人兴趣需要，经常要采集一些数据做分析，为了提高采集效率经常要用到代理。国内的 IP 代理池可用性不高，要自己请求 IP，处理重试，如果碰到需要 JS 渲染才能采集的数据，还得自己上 Headless 浏览器，不是很方便。
国外 scrapingbee 和 scraperAPI 这种服务挺好，但是费用太高，访问国内网站速度也不快。于是干脆就自己参考 scrapingbee 搭建了智能代理服务：五号代理
主要功能特点
- 每次请求自动切换 IP
- 每次动态切换 User-Agent
- 自动重试
- 支持 JS 渲染
基本上可以直接绕过绝大部分的反爬策略。当然价格也比国外的服务便宜，注册就有免费额度，欢迎大家试用。
有问题和意见可以直接或提工单反馈给我。再次感谢。
 |
1
est 2021-08-30 14:27:22 +08:00  4
感谢。已经把免费额度里的 ip 全部拉黑了。
|
 |
2
dapang1221 2021-08-30 14:46:35 +08:00
看了下文档，不能自定义 header……
|
 |
3
yuanchao 2021-08-30 14:47:00 +08:00
这些 ip 是自己的还是爬的
|
 |
4
jasli2 OP @dapang1221 header 直接透传的，直接设置就行。
|
 |
6
xiongbiao 2021-08-31 01:59:18 +08:00
不错，收藏了
|
 |
7
Echoldman 2021-09-01 12:12:44 +08:00
赞
|
 |
8
adrianzhang 2021-09-02 09:11:53 +08:00
@est 哈哈哈笑死我了
|
 |
9
ragnaroks 2021-09-04 19:32:05 +08:00
都是数据中心的 ip，那不是一死就死一大片？我觉得还是和卫士管家那些找量比较靠谱
|
 |
10
iqoo 2021-09-07 15:14:52 +08:00
支持 JS 渲染？哪天来一个 1Day 就能把服务器黑了。
|
Select Language