源服务器的 iptables 能检测到 cdn 反代后的真实用户 ip 吗？

This topic created in 1608 days ago, the information mentioned may be changed or developed.

我有个网站用的是腾讯的 cdn ，用户访问先到腾讯 cdn ，然后 -> 源服务器

现在的问题是一堆爬虫来爬我数据，腾讯的 cdn 封禁 ip 黑名单太弱了（只支持 /24/18/16 这样的 IP 段，其他的支持很少），支持数量也很有限，我想在源服务器上用 iptables 封禁爬虫的 ip 段可行吗？

CDN

iptables

服务器

禁爬虫

9 replies • 2022-01-04 12:15:41 +08:00

herozzm

Jan 3, 2022

想法是封禁所有阿里云的 ip ，大部分爬虫都部署阿里云上，我已经通过 https://bgp.he.net/search?search[search]=aliyun&commit=Search 得到了大部分的阿里云 ip

Buges

Jan 3, 2022 via Android

当然不能。真实 IP 是通过 X-REAL-IP 这样的应用层协议传输的，当然应该用应用层的防火墙拦截。

lhx2008

Jan 3, 2022

cdn 会带 http 头，显示源 IP ，这个时候可以 cdn -> 过滤器如 nginx -> 源服务器，然后通过过滤器解析 http 头做拦截

0x0021h

Jan 3, 2022

使用 X-Forwarded-For 可以获得真实的爬虫 IP 地址，然后封锁。

0x0021h

Jan 3, 2022

不过仅能在 CDN 的 firewall 上？ ()

herozzm

Jan 3, 2022

@lhx2008 我问问腾讯的技术客服

des

Jan 3, 2022 via iPhone

@herozzm
在应用层处理不是能做更多操作吗？

zingl

Jan 4, 2022

用自己的 IP 试一下，几分钟就知道答案了

tencentcloud

Jan 4, 2022

@herozzm 您好，目前腾讯云内容分发网络（ CDN ）支持一些简单的爬虫防护策略，比如说您可以根据爬虫请求设置 IP 黑名单，UA 黑白名单配置，http referer 防盗链等。如果您要求更高的爬虫防护，建议您使用安全加速产品(SCDN) Bot 爬虫防护功能，文档如下： https://cloud.tencent.com/document/product/1226/62782 ，感谢您对腾讯云的支持。