我的需求是这样的，根据一定规则爬取一个视频网站上用户上传的视频，并且将视频下载回来
前提是用户比较多，每个用户上传的视频也不少，并且下载我是放到 pipeline 中，用 requests 请求 aria2 rpc 接口去下载，因为 scrapy 本身的 filespipeline 会把视频请求的 response 都加载到内存中，这样内存占用太大了
我运行这个爬虫的时候，发现一个问题
如果我关掉下载 pipeline，那么爬取的视频数量是对的
如果打开下载 pipeline，那么爬取的视频数量会少
我的 pipeline 大概逻辑是
while 1:
check aria2 正在下载的任务数量
if <10:
break
sleep 30s
给 aria2 发送下载任务
所以有时候一个 pipeline 任务可能等待时间比较长
目前猜测是不是因为执行 pipeline 时间比较长，然后 scrapy 有什么超时的限制，一个 yield scray.request() 长时间不执行就丢弃了
有没有了解 scrapy 的大佬帮忙解惑
Select Language