然后发现 aiohttp 不走系统代理,但是 requests 是走系统代理的。 求问怎么设置可以让 aiohttp 走系统代理呢?
1
locoz 2021-01-01 00:52:54 +08:00 via Android
这其实是个锻炼自己看代码解决问题能力的好机会,requests 的代码很简单明了,你找到它的做法照抄一份用在 aiohttp 上就行了,不难的。
你看你这在 v2 上问,过了差不多一个小时了也得不到答案…而你要是自己会看代码,分分钟就完事了。 |
2
learningman 2021-01-01 01:01:18 +08:00
@locoz 要自己包装实现 CONNECT,好像也没那么简单。。。
|
3
locoz 2021-01-01 01:19:35 +08:00
@learningman #2 他这情况估计就是懒得设置代理而已,直接把读环境变量和注册表的那部分翻出来执行一下,然后传去填代理设置就好了。考虑复用的话就再简单封装个获取 session 对象的函数,不用搞那么复杂。(固定设备的话其实还有个邪道做法,直接用 Proxifier 让 Python 进程走代理...)
|
4
so1n 2021-01-01 01:41:32 +08:00 via Android
写爬虫不用 aiohttp 可以省很多烦恼
|
5
wangyanyansg 2021-01-01 11:26:42 +08:00 via iPhone
可以来我做的"技来技往 app”找个会爬虫的军师参谋来问问
|
6
Liyiw 2021-01-01 11:29:12 +08:00
|
7
abersheeran 2021-01-01 20:09:39 +08:00
@so1n 赞同,aiohttp 会有很多奇怪的问题。
|
8
baobab 2021-01-01 20:26:55 +08:00
@abersheeran 赞同,而且异步爬一个站点太快很容易被封 ip,这个坑走下去没完没了了。
|
9
abersheeran 2021-01-01 21:26:45 +08:00 1
@baobab 控制不了速度是你的问题不是异步爬虫的问题。
|
10
baobab 2021-01-01 22:24:28 +08:00
@abersheeran 求大神教我怎么控制速度
|
11
nyxsonsleep OP @Liyiw 我是知道怎么设置 aiohttp 和 requests 的代理,但我不想设。我只是想他默认走系统代理
|
12
nyxsonsleep OP @baobab 共用一个 session 可以设置参数控制连接数。另一个可以在 loop 循环中添加非异步 sleep 。
|