yurman's recent timeline updates
yurman

yurman

V2EX member #298360, joined on 2018-03-09 10:03:21 +08:00
请教一下爬虫技术
程序员  •  yurman  •  Mar 5, 2024  •  Lastly replied by hackerfans
20
落魄程序员在线接单。
外包  •  yurman  •  Sep 27, 2020  •  Lastly replied by Booooo
2
yurman's recent replies
bug 来咯,邀请码填写无效。看接口,registerCode 为空
Mar 5, 2024
Replied to a topic by yurman 程序员 请教一下爬虫技术
@BeiChuanAlex 我是觉得是没有啥技术能做到,可惜我只是个打工仔,老板不信 :(
Mar 5, 2024
Replied to a topic by yurman 程序员 请教一下爬虫技术
@ZSeptember 淘宝是很麻烦,已经是低量数据爬取,完全模拟人为操作。偶尔还是能触发警告
Mar 5, 2024
Replied to a topic by yurman 程序员 请教一下爬虫技术
@Motorola3 有猜过是走接口,老板不知道哪里看的别人说是用啥爬虫技术实现的,我觉得不可能有这样的能够大量爬取还能防封
自己知道的方法:
一个是查询字段比如手机号分开后加密存放,{field1:xxx,field2:xxxx}模糊查询的时候就只能这样了。对接京东、淘宝的加密数据也是这样。
第二个就是自己搞可逆、有序且长度不会一直递增的算法
balsamiq
+1
krpano 了解一下,其实不难
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   6009 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 23ms · UTC 06:06 · PVG 14:06 · LAX 23:06 · JFK 02:06
♥ Do have faith in what you're doing.