meso5533

百度蜘蛛诊断工具只抓取静态内容?

  •  
  •   meso5533 · Jan 3, 2019 · 4221 views
    This topic created in 2710 days ago, the information mentioned may be changed or developed.
    各位大大,百度蜘蛛应该是能抓取页面动态加载的内容吧?

    可是我用官方的百度蜘蛛诊断工具测试了一下只抓到静态内容。

    是我的问题还是这个诊断工具本身比较鸡肋?
    3 replies    2019-05-24 08:43:39 +08:00
    loading
        1
    loading  
       Jan 3, 2019 via Android
    百度就这个水平,不是不抓,是没那个本事。
    Ginson
        2
    Ginson  
       Jan 3, 2019 via Android
    一般蜘蛛抓取的时候不会执行 JS。
    只有某些特殊用处的蜘蛛才会执行,比如百度用来检查移动落地页体验规范的蜘蛛,这类蜘蛛 ua 里面会带有 render 字样
    opengps
        3
    opengps  
       May 24, 2019
    ajax 二次加载的抓不到
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5832 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 89ms · UTC 02:12 · PVG 10:12 · LAX 19:12 · JFK 22:12
    ♥ Do have faith in what you're doing.