Home Sign Up Sign In
RickyC
V2EX  ›  问与答

百度每秒抓取很多次, 导致 CPU100%, 除了限制抓取频率, 还有别的什么方法?

  •   
  •   RickyC · Dec 10, 2020 · 1419 views
    This topic created in 2002 days ago, the information mentioned may be changed or developed.

    占 CPU 的进程是 php 不是 mysql, 那上 redis 也不好使吧?

  • CPU
  • MySQL
  • Redis
  • PHP
    2 replies  •  2020-12-21 15:06:58 +08:00
    treblex
        1
    treblex  
       Dec 10, 2020
    nginx 缓存 get 请求
    另，看看是不是其他问题吧
    ggabc
        2
    ggabc  
       Dec 21, 2020
    假的了，百度站长那里可以控制采集密度
    你看到的压力，应该是爬虫或者攻击工具冒充的 ua
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4358 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 96ms · UTC 00:16 · PVG 08:16 · LAX 17:16 · JFK 20:16
    ♥ Do have faith in what you're doing.