有用 nginx 的限访问频率的 ngx_http_limit_req 模块吗？排除性限制如何做？

This topic created in 1154 days ago, the information mentioned may be changed or developed.

现在看到的资料都是全局性的限制高频率访问的 ip ，但是这样会把爬虫也给限制了，影响了网站排名。我不想限制搜索引擎爬虫（需要正常放行），比如 Googlebot 和 baiduSpider ，该怎么做呢？求助大家我的目前的配置可以全局限制访问 ip 频率，问了 chatGPT 半天，它也给不出正确答案，看看老铁的厉害

http {
  # ...
    limit_req_zone $binary_remote_addr zone=mylimit:10m rate=15r/m;
    
    server {
          location ~ \.php {
                 limit_req zone=mylimit burst=5 nodelay;
         }
    }
}

限制

爬虫

Googlebot

Nginx

12 replies • 2023-03-27 11:42:05 +08:00

lhbc

Mar 26, 2023 via Android

https://serverfault.com/questions/177461/how-to-rate-limit-in-nginx-but-including-excluding-certain-ip-addresses

Mar 26, 2023

# 蜘蛛白名单
map $http_user_agent $limit{
default $binary_remote_addr;
~*(Baiduspider|360Spider|bingbot|Googlebot|Sogou|YoudaoBot|Sosospider) "";
}
limit_req_zone $limit zone=myqps:30m rate=2r/s;

limit_req zone=qps burst=10 nodelay;
limit_req_status 429;

Mar 26, 2023

后两行用于 server 段

herozzm

Mar 26, 2023

@ab 当遇到搜索引擎把`limit_req_zone`的`key`设为""空字符串是啥含义？会有什么问题吗？

Mar 26, 2023 via iPhone

@herozzm #4 这样不就可以放行了吗？

herozzm

Mar 26, 2023

@ab 我测试一下，我是没太理解为空的含义，$binary_remote_addr 是以 ip ，我知道

Mar 26, 2023 via iPhone

@herozzm #6 每个用户都有一堆参数可以当做限频属性。使用 ip 是因为 ip 的唯一性，别的参数都会误杀。那么你要放行例外，当然只能放空

yrj

Mar 27, 2023

你用 UA 做放行，那不是掩耳盗铃麽。。

herozzm

Mar 27, 2023 via iPhone

@yrj ua 确实不是好办法你有更好的办法吗？手头也没有蜘蛛的 ip 地址

yrj

Mar 27, 2023

@herozzm 没啥好办法，就是建立 ip 数据库。

Mar 27, 2023

@yrj 意思意思，门槛抬高一点就是了。哪里 100%的防守

herozzm

Mar 27, 2023

@yrj
@ab
我搜集了一个搜索引擎 ip 段
已经公布 ip 的：
google： https://developers.google.com/search/apis/ipranges/googlebot.json
bing： https://www.bing.com/toolbox/bingbot.json
360： https://www.so.com/help/spider_ip.html
剩下的用 https://tool.ip138.com/spider/