Scrapy active_size 大小持续增长问题咨询

我的理解 engine.scraper.slot.active_size 是 engine.scraper.slot.active 中的抓取器处理的响应大小。
但是用 telnet 查看爬虫时发现 engine.scraper.slot.active 一直是 0，但是 engine.scraper.slot.active_size 的值确越来越大。
有没有哪位朋友碰到过这种情况呢？想咨询下造成这种问题的原因。
谢谢

tive

size

抓取器

Scrapy

1 replies • 2018-03-19 11:26:29 +08:00

xiudou

Mar 19, 2018

做个结帖。
这个问题的原因是：出于某种原因，我们在处理 response 时，替换了 body，导致最后 scraper 减去的 response 的 size 于了下载器下载的大小。当出现较多处理时，会当值 active_size 超过了 5M 的阈值。会造成爬虫一直卡住，不处理下一个请求。
这个问题一般也不会出现，大家可以忽略。