11 条回复 • 2024-12-03 21:31:08 +08:00
 |
1
spritecn 9 天前
requests + PyQuery,无头浏览器的话都差不多
|
 |
2
onll42y 9 天前
requests + parsel
|
 |
3
zeusho871 9 天前
推荐用 requests 的，肯定不好使，那玩意儿不支持异步，用 httpx 可以 100%兼容，然后不能 tls 指纹，有的网站会检测 tls 指纹，找那种带 tls 指纹的请求库，比如 curl_cffi 啥的。如果不是协议爬虫，用浏览器爬的话，推荐 drissonpage 。用 selenium/playwright 有几个参数会被检测到，虽然也能做到，但是需要额外的代码。
|
 |
4
ospider 9 天前  2
不要滥用「框架」这个词。使用框架的时候，主循环在框架里，你只需要写回调或者 handler ，使用库的时候，主循环在你自己代码里，显然 playwright 是一个库。
|
 |
5
WhateverYouLike 9 天前 via iPhone
偏题。node 的 crawlee 好用，算是框架。
|
 |
6
dule 9 天前
你说的这两只能说是工具库，自动化浏览器跟爬虫框架根本搭不上边，python 知名的基本就这两个：scrapy 、pyspider
|
 |
7
HMYang33 9 天前
https://feapder.com/
一个函数下发任务，一个函数处理结果。自动多线程 |
 |
8
iorilu 9 天前
现在有啥自动生成提取规则的库吗
我上次也想过用 ai 帮忙写点规则, 要能自动化就好了 |
 |
11
python30 8 天前
scrapy 啊。一直在用 scrapy.超好用
|
Select Language