首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
广告
RickyC
V2EX  ›  问与答

百度每秒抓取很多次, 导致 CPU100%, 除了限制抓取频率, 还有别的什么方法?

  •   
  •   RickyC · 2020-12-10 14:44:08 +08:00 · 985 次点击
    这是一个创建于 1429 天前的主题，其中的信息可能已经有所发展或是发生改变。

    占 CPU 的进程是 php 不是 mysql, 那上 redis 也不好使吧?

  • CPU
  • MySQL
  • Redis
  • PHP
    2 条回复  •  2020-12-21 15:06:58 +08:00
    treblex
        1
    treblex  
       2020-12-10 14:55:24 +08:00
    nginx 缓存 get 请求
    另，看看是不是其他问题吧
    ggabc
        2
    ggabc  
       2020-12-21 15:06:58 +08:00
    假的了，百度站长那里可以控制采集密度
    你看到的压力，应该是爬虫或者攻击工具冒充的 ua
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1303 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 17:53 · PVG 01:53 · LAX 09:53 · JFK 12:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.