这是一个创建于 157 天前的主题，其中的信息可能已经有所发展或是发生改变。
google 爬虫爬起来真的就是 cc 攻击，以前的 google 的站长后台可以控制爬取频率，被下了，真是无语，在服务端 nginx 控制频率不理想，因为限制了 google 爬虫的频率，大部分时候是返回 502 ，google 站长后台就一直提示 502 ，不给排名
22 条回复 • 2024-06-05 19:47:46 +08:00
 |
1
qqjt 157 天前  2
怎么能被 bot 爬死啊，这体量羡慕了
|
 |
2
dzdh 157 天前 1
同问。啥体量能让 bot 爬死。啥服务器配置啊。
|
 |
3
potatowish 157 天前 via iPhone
字节的 bot 才叫疯狂
|
 |
4
daohanghao 157 天前
我都多来爬一下，你倒好，不需要。。。
|
 |
6
herozzm OP @potatowish 字节的反而不咋地，一天 10 个以内，流量根本没有
|
 |
7
darkengine 157 天前
谷歌一秒上百次的爬？什么站这么牛啊 。。。
|
|
8
herozzm OP @darkengine 不是一个站，是几个站放在一台服务器，每个站 10 个左右，加起来的并发，他们共用 cpu 资源
|
 |
9
HackerQED 157 天前 via iPhone
|
 |
10
nomagick 157 天前 8
垃圾站是吧。。
|
 |
12
knva 157 天前
垃圾站能不能 414
|
 |
13
wonderfulcxm 157 天前 via iPhone
没经历的哥们很难想象，它是真的会很疯狂，我们网站也经历过，只能限制速率，不要返回 502 ，返回 503 。就一个新闻网站，有编辑团队和纸版杂志，不是什么垃圾站，话说这跟垃圾站有什么关系？
|
 |
14
rambeaufinal 157 天前
不能升级一下服务器的配置吗？
|
 |
15
NewYear 157 天前
robots.txt 不是可以规定爬取频率么，实在觉得占用性能，搞缓存啊，静态化啊
|
|
17
herozzm OP @wonderfulcxm 我将 503 改成 429 ，应该也没问题吧
|
 |
18
e3c78a97e0f8 157 天前
搞个 cache 呗，每次 GoogleBot 访问都给几分钟甚至几小时前的结果，这 CPU 利用率就能降下去了吧。
|
 |
19
linyongxin 157 天前
如果可以，生成静态化或缓存，减少数据库读取
|
 |
20
nx6Ta67v2A43frV2 157 天前
在前面挂 1 个 cloudflare cdn 试试。
|
 |
21
oIMOo 157 天前
OP 并没有回应关于“垃圾站”的回复 - -
|
Select Language