xfspython
V2EX  ›  问与答

[求助爬虫大佬指点] 爬虫遇到加密参数到底该怎么处理

  •  
  •   xfspython · Jun 16, 2019 · 2097 views
    This topic created in 2528 days ago, the information mentioned may be changed or developed.

    自学了几个月的爬虫 到现在感觉遇到瓶颈一直没法突破,主要是在遇到加密参数的时候,比如说 pc 端 通常我会先观察哪些参数可能是被加密处理的,然后拿着关键词全局搜索大概也能找到相关的 js 代码,但是让我进行下一步操作我就不知道该怎么办了 app 同样 现在真的很痛苦,所以希望有好心的大佬指点一下,遇到 pc 端 和 app 的加密参数该如何处理 能不能给个处理思路 让我这个萌新可以学习哈 先说声谢谢哈

    njshiyanhz
        1
    njshiyanhz  
       Jun 16, 2019   ❤️ 1
    能找到相关 js 代码,那就简单了。
    比如你的未加密参数是“关键词”,那你就用这段 js 代码,把“关键词”加密成对应的密文,然后再作为参数请求对应的地址。
    简单的 js 代码,可以直接改写成爬虫所用语言的代码;
    复杂的 js 代码,java 里面可以用 ScriptEngine 执行,或者 phamtonjs 执行。
    APP 的加密参数解决方式类似。
    xfspython
        2
    xfspython  
    OP
       Jun 16, 2019
    @njshiyanhz 谢谢大佬, 我仔细想了一下,可能是自己 js 代码还是不够熟悉以及对于那些常见的加密算法还是不够了解,然后有没有必要好好去学学 js 呢?
    nyfok
        3
    nyfok  
       Jun 16, 2019
    用 google v8 自己做个浏览器,这样抓什么都容易
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1181 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 18:01 · PVG 02:01 · LAX 11:01 · JFK 14:01
    ♥ Do have faith in what you're doing.