V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
locoz
V2EX  ›  分享创造

看到很多人在写 APP 爬虫的时候一脸茫然,于是我就写了篇介绍常用工具的文章(知乎直链)

  locoz · 2019 年 4 月 28 日 · 7192 次点击
这是一个创建于 2452 天前的主题,其中的信息可能已经有所发展或是发生改变。
传送门: https://zhuanlan.zhihu.com/p/63899519

历史文章:
当你写爬虫时遇上 Flash+加密的解决方式 https://zhuanlan.zhihu.com/p/45508079
当你写爬虫抓不到 APP 请求包的时候该怎么办?[初级篇] https://zhuanlan.zhihu.com/p/46433599
当你写爬虫抓不到 APP 请求包的时候该怎么办?[中级篇] https://zhuanlan.zhihu.com/p/56397466
听说这个爬虫面试题很难?看完你就知道怎么做了 https://zhuanlan.zhihu.com/p/59005948
当你写爬虫抓不到 APP 请求包的时候该怎么办?[高级篇-混淆导致通用 Hook 工具失效] https://zhuanlan.zhihu.com/p/63028507

欢迎关注知乎专栏《手把手教你写爬虫》: https://zhuanlan.zhihu.com/webspider
34 条回复    2019-05-07 17:26:25 +08:00
ml1344677
    1
ml1344677  
   2019 年 4 月 28 日   ❤️ 1
都是干货
leesymbol
    2
leesymbol  
   2019 年 4 月 28 日   ❤️ 1
厉害了 谢谢
caqiko
    3
caqiko  
   2019 年 4 月 28 日 via Android   ❤️ 1
滋磁一个
dabaibai
    4
dabaibai  
   2019 年 4 月 28 日   ❤️ 1
马克一下
sparkssssssss
    5
sparkssssssss  
   2019 年 4 月 28 日   ❤️ 1
马克一波
zdnyp
    6
zdnyp  
   2019 年 4 月 28 日
又是你!!!赶紧去看看,前几篇都实践了:)
jb2
    7
jb2  
   2019 年 4 月 28 日
大佬,如果 response 的内容被加密了,怎么破?
locoz
    8
locoz  
OP
   2019 年 4 月 28 日
@zdnyp #6 hhhhhhh 能帮到你就好
locoz
    9
locoz  
OP
   2019 年 4 月 28 日
@jb2 #7 亲亲,这边建议您反编译呢
zdnyp
    10
zdnyp  
   2019 年 4 月 28 日
@locoz 没开混淆的 apk 安装不了呀...夜神模拟器,安卓 5.x,Xposed+JustTrustMe
jb2
    11
jb2  
   2019 年 4 月 28 日
@locoz 反编译就要折腾啦,爬个数据而已,不容易啊
locoz
    12
locoz  
OP
   2019 年 4 月 28 日
@zdnyp #10 奇怪了,我 minSdkVersion 设的是 21 啊 安装不了的提示是啥呢?
locoz
    13
locoz  
OP
   2019 年 4 月 28 日
@jb2 #11 那你不想折腾就只能从视图层拿数据了,用群控的手段去做爬虫,但是效率非常低
zdnyp
    14
zdnyp  
   2019 年 4 月 28 日
@locoz 安装应用程序失败,没有错误码啥的
zdnyp
    15
zdnyp  
   2019 年 4 月 28 日
yuthelloworld
    16
yuthelloworld  
   2019 年 4 月 28 日 via Android   ❤️ 1
关注了
locoz
    17
locoz  
OP
   2019 年 4 月 28 日
@zdnyp #15 看不到图,可能是要你的账号才能看,我这打开就一个 JUser token must be authenticated 的提示
Youle
    18
Youle  
   2019 年 4 月 28 日   ❤️ 1
maki 一波
zdnyp
    19
zdnyp  
   2019 年 4 月 28 日
@locoz sor,解析失败,找不到证书
locoz
    20
locoz  
OP
   2019 年 4 月 28 日   ❤️ 1
@zdnyp #19 我重新编译了一下,你试试新的 APK,可能是签名版本的问题
zdnyp
    21
zdnyp  
   2019 年 4 月 28 日
@locoz 这个可以了,开始盘~
locoz
    22
locoz  
OP
   2019 年 4 月 28 日
@zdnyp #21 OK
v2yehen
    23
v2yehen  
   2019 年 4 月 28 日   ❤️ 1
插一个真眼
zdb1115
    24
zdb1115  
   2019 年 4 月 28 日   ❤️ 1
谢谢分享
fff333
    25
fff333  
   2019 年 4 月 28 日 via Android   ❤️ 1
重点关注下
HFX3389
    26
HFX3389  
   2019 年 4 月 28 日
我很难受....怎么感觉楼主的名字在哪见过.....手动狗头
locoz
    27
locoz  
OP
   2019 年 4 月 29 日 via Android
@HFX3389 #26 哈哈哈哈哈哈在你那个贴子里回复过你
xxoxx
    28
xxoxx  
   2019 年 4 月 29 日   ❤️ 1
收藏了,内容不错,值得学习
yorksol
    29
yorksol  
   2019 年 4 月 29 日   ❤️ 1
马克一下
wshcdr
    30
wshcdr  
   2019 年 4 月 30 日   ❤️ 1
看看是啥情况
chen185102
    31
chen185102  
   2019 年 5 月 1 日
口袋 48 这个 APP,开了 Justtrustme+低版本安卓依然捕获不到部分 https 请求,脱了壳看了下也没有混淆 CertificatePinner,能帮忙看看吗
locoz
    32
locoz  
OP
   2019 年 5 月 2 日
@chen185102 #31 有空帮你看看,部分是指哪部分?
chen185102
    33
chen185102  
   2019 年 5 月 3 日
@locoz 登陆啊签到啊什么的,其实应该说这个应用大部分的请求都抓不到
w4mxl
    34
w4mxl  
   2019 年 5 月 7 日
刚传送到知乎,又被传送到 GitHub,🛫️ ; )
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1020 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms · UTC 22:42 · PVG 06:42 · LAX 14:42 · JFK 17:42
♥ Do have faith in what you're doing.