最近网站经常被国外的亚马逊的服务器的爬取内容,现在已经有黑名单的 Ip 段, 但是网站前端配有 CDN,导致 nginx 的 $remote_addr 获取的是 ip 地址是 cdn 的 ip deny 不生效,
找了一个教程 [Nginx 网站使用 CDN 之后禁止用户真实 IP 访问的方法]( https://zhangge.net/5096.html)
只能实现单个 ip 的禁止访问,请问大家有按照 ip 段禁止访问的办法或思路吗?
1
superrichman 2021-01-22 16:13:08 +08:00 via iPhone
niginx if 条件 正则表达式
|
2
chendy 2021-01-22 16:19:48 +08:00
为啥不在 cdn 配黑名单呢
|
3
engineercj 2021-01-22 16:22:54 +08:00
ipset add black
|
4
lewinlan 2021-01-22 16:24:12 +08:00 via Android
cdn 应该可以配置返回 real ip
|
5
huangzxx 2021-01-22 16:26:15 +08:00
1 、nginx real_ip 模块
2 、拿到厂商 cdn 的 IP 段,例如 cloudflare https://www.cloudflare.com/ips-v4 |
6
privil 2021-01-22 16:29:36 +08:00
用 openresty 这种需求也是随便做吧,获取 X-Forwarded-For 第一个变量,然后匹配,ban 掉。都有现成开发好的脚本吧。
|
7
Aliencn 2021-01-22 16:29:42 +08:00
有 CDN,好多请求都不会回源站了,在源站上配置禁用规则有啥用
|
8
dndx 2021-01-22 16:30:12 +08:00
按照 CDN 厂商的建议配置就行,比如 Cloudflare:
https://support.cloudflare.com/hc/en-us/articles/200170786-Restoring-original-visitor-IPs-logging-visitor-IP-addresses 用正则是有点太土了。http://nginx.org/en/docs/http/ngx_http_realip_module.html 专门干这个的。 |
9
laozhoubuluo 2021-01-22 16:54:22 +08:00
这种建议三步走:
1. CDN 上配置爬虫黑名单 IP 地址. 2. 源站基于 ngx_http_realip_module 配置规则, 只信任 CDN 提供的 XFF 头. 3. 源站在 2 生效的基础上, 配置爬虫黑名单 IP 地址, 或配置仅允许 CDN IP 访问. |
10
colordog 2021-01-22 17:22:45 +08:00
@laozhoubuluo 活捉老周,哈哈
|
11
colordog 2021-01-22 17:23:33 +08:00
@laozhoubuluo 赶快给我搞下烽火新款万兆光猫的 sip 话机密码
|
12
fengjianxinghun 2021-01-22 17:28:17 +08:00
set_real_ip_from x.x.x.x;
real_ip_header X-Forwarded-For; real_ip_recursive on; |
13
cco 2021-01-22 17:29:00 +08:00
用过几款 CDN,都带 WAF 功能的- -。
|
14
indev 2021-01-22 23:24:57 +08:00
Nginx 支持 IP 段的吧,可以只允许来自 CDN IP 的访问: https://frankindev.com/2020/11/18/allow-cloudflare-only-in-nginx/
|