V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
xfspython
V2EX  ›  问与答

[求助爬虫大佬指点] 爬虫遇到加密参数到底该怎么处理

  •  
  •   xfspython · 2019-06-16 13:14:53 +08:00 · 1458 次点击
    这是一个创建于 1976 天前的主题,其中的信息可能已经有所发展或是发生改变。

    自学了几个月的爬虫 到现在感觉遇到瓶颈一直没法突破,主要是在遇到加密参数的时候,比如说 pc 端 通常我会先观察哪些参数可能是被加密处理的,然后拿着关键词全局搜索大概也能找到相关的 js 代码,但是让我进行下一步操作我就不知道该怎么办了 app 同样 现在真的很痛苦,所以希望有好心的大佬指点一下,遇到 pc 端 和 app 的加密参数该如何处理 能不能给个处理思路 让我这个萌新可以学习哈 先说声谢谢哈

    njshiyanhz
        1
    njshiyanhz  
       2019-06-16 14:08:54 +08:00   ❤️ 1
    能找到相关 js 代码,那就简单了。
    比如你的未加密参数是“关键词”,那你就用这段 js 代码,把“关键词”加密成对应的密文,然后再作为参数请求对应的地址。
    简单的 js 代码,可以直接改写成爬虫所用语言的代码;
    复杂的 js 代码,java 里面可以用 ScriptEngine 执行,或者 phamtonjs 执行。
    APP 的加密参数解决方式类似。
    xfspython
        2
    xfspython  
    OP
       2019-06-16 16:31:14 +08:00
    @njshiyanhz 谢谢大佬, 我仔细想了一下,可能是自己 js 代码还是不够熟悉以及对于那些常见的加密算法还是不够了解,然后有没有必要好好去学学 js 呢?
    nyfok
        3
    nyfok  
       2019-06-16 22:35:00 +08:00
    用 google v8 自己做个浏览器,这样抓什么都容易
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5780 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 01:44 · PVG 09:44 · LAX 17:44 · JFK 20:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.