herozzm
V2EX  ›  问与答

请教一个无头版本 Chrome 问题

  •  
  •   herozzm · Jan 8, 2022 · 1543 views
    This topic created in 1588 days ago, the information mentioned may be changed or developed.

    目标网站: http://ccgp-gansu.gov.cn 无头版本 Chrome 浏览仅返回<html><head></head><body></body></html>,和真实浏览器返回的内容完全不一样,请问大神问题出在什么地方?

    pelloz
        1
    pelloz  
       Jan 8, 2022
    问题出在你不应该爬网站,更不应该爬 zf 网站。你这个问题或许监狱有狱友可以教你。
    ClericPy
        2
    ClericPy  
       Jan 8, 2022
    好大一坨 JS... 还老是跳 dns 找不到 ip... 这是反爬还是别的
    ALTER2333
        3
    ALTER2333  
       Jan 8, 2022 via Android
    假如无头是指无 User-Agent 头,那可能是服务器端做了防爬虫?对于非正常请求(无 UA )做特定的返回
    also24
        4
    also24  
       Jan 8, 2022
    herozzm
        5
    herozzm  
    OP
       Jan 8, 2022
    @ALTER2333 指的是 Headless Chrome
    herozzm
        6
    herozzm  
    OP
       Jan 8, 2022
    找到原因了,网站封禁了 Headless Chrome 固定的 user-agent
    chinemds
        7
    chinemds  
       Jan 8, 2022   ❤️ 1
    真刑啊
    shakaraka
        8
    shakaraka  
    PRO
       Jan 8, 2022
    @herozzm #6 刑了,问题解决了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1229 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 54ms · UTC 17:42 · PVG 01:42 · LAX 10:42 · JFK 13:42
    ♥ Do have faith in what you're doing.