Home Sign Up Sign In
yadgen
V2EX  ›  PHP

关于抓取模拟请求头的问题

  •   
  •   yadgen · May 31, 2018 · 3439 views
    This topic created in 2914 days ago, the information mentioned may be changed or developed.
    https://m.hemaos.com/page/share/itemdetail?userid=7fdd44ae33082c96789e67340deffd832ed703004c738299459ab9f21dfea1f609fec570e529c5a838c500d1c9da126496494e3bdaa34f41b3e7eeabcc11da177894017d6629127e100c01363e06fdf46107a3f6a1176ba2a19d6e598c9e8e9a7d79219bf9a9ff95bec1cb91cf6bc557b7a49c67301fcb1ed2131c9a0f9d35779903fc2883e4c5a2&itemId=537779751798&shopIds=115196396&ut_sk=Page_Detail.2f5b9e2bb681ccd0cbaa78eb094360f5.Wl1PrraCLR4DAFntAJuMc0Lc.Friends&spm=a313p.3.bnhm8e.949609840127&short_name=x.ek7O6J&from=singlemessage&isappinstalled=0&app=weixin
    该地址我用浏览器访问之后，发现他的数据实际请求了这个地址（ https://m.hemaos.com/json/getDetail?itemId=537779751798&shopIds=115196396&callback=jsonp_7028116 ），然后渲染。
    我用浏览器访问得到 Request Headers，使用 GuzzleHttp 模拟头信息去请求，始终得不到正确的返回结果。

    有经验的同僚可以指点一二吗？谢谢。
  • 请求
  • 浏览器
  • guzzlehttp
  • Headers
    9 replies  •  2018-06-06 15:27:12 +08:00
    crab
        1
    crab  
       May 31, 2018
    也就 user-agent 不一样吧？
    milllky
        2
    milllky  
       May 31, 2018
    不知道其他浏览器怎么弄，火狐浏览器里有个功能可以导出成 CURL 请求。然后再自己，或者到网上找一个 CURL 转换成 GuzzleHttp 的工具。
    F1024
        3
    F1024  
       May 31, 2018
    GET https://m.hemaos.com/json/getDetail?itemId=537779751798&shopIds=115196396 参数加齐肯定没问题
    yadgen
        4
    yadgen  
    OP
       May 31, 2018
    @crab 没那么简单。
    yadgen
        5
    yadgen  
    OP
       May 31, 2018
    @milllky 没有转 GuzzleHttp，但是拷贝 curl request 一样，还是不行。
    yadgen
        6
    yadgen  
    OP
       May 31, 2018
    @F1024 拷贝 curl request，一直不行，很奇怪。
    masha
        7
    masha  
       May 31, 2018
    我这试了试直接 curl 都可以
    crab
        8
    crab  
       May 31, 2018
    @yadgen 直接测试后没问题，说明无 cookies 类要求，也没 referer。唯一问题就是 GuzzleHttp 你抓下看 user-agent
    yadgen
        9
    yadgen  
    OP
       Jun 6, 2018
    @crab 嗯，搞定了，谢谢，我是抓下来了， 只是获取内容的方法使用错了，哈哈。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   890 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 20:21 · PVG 04:21 · LAX 13:21 · JFK 16:21
    ♥ Do have faith in what you're doing.