 |
1
bwnjnOEI 11 天前 via iPhone
面对动态页面和抗反爬稍微复杂点的就不行了吧
简单的网站依然可以用啊 |
 |
2
donaldturinglee 11 天前
scrapy 一直就不是单着用的吧？没过时，但是你可以学一下 playwright
|
 |
3
sgld 11 天前
试试 DrissionPage ?
|
 |
4
zonde306 11 天前
简单就 scrapy ，复杂就不用框架，直接操作浏览器
例如 camoufox patchwright |
 |
5
azzzzzz 11 天前
未来还是直接模拟浏览器的吧
|
 |
6
IIce 10 天前
毕业之后就没用过 scrapy 了，有自研的，也有 feapder, 还有一些就是一个 requests 脚本，可能项目不够大吧
|
 |
7
1018ji 10 天前
浏览器还能抓啥，APP 走起
|
 |
8
Toowhite7 10 天前
Selenium or playwright
|
 |
9
tim2017 10 天前 via iPhone
之前用过简数的代爬，收费还可以，以前免费提供大量知名网站的模版，现在都限制了。
我公司网站靠爬虫每天上百 IP ，几年没更新了。 国内互联网 V2EX 这种开放性的 web 原创数据越来越少了，都是私域平台。 |
 |
11
llsquaer 10 天前
一个项目一个 py 还要啥 scrapy ..
|
 |
12
securityCoding 10 天前 via Android
chrome cdp?
|
 |
13
gopo 10 天前
1. 逆向协议（网页优先，APP 其次）
2. 自研浏览器、模拟器（主要过指纹还有方便自定义） 3. 简单网站（静态和动态的区别）随便搞 |
Select Language