pyspider 的 js 抓取是非阻塞的吗?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 3432 days ago, the information mentioned may be changed or developed.

用久了 scrapy 想换个口味,scrapy 配置 js 异步抓取的环境还是比较麻烦的.

看了下 pyspider 的文档,用的是 PhantomJS,看起来是同步?

2 replies • 2016-12-08 21:34:57 +08:00

qsnow6

Dec 8, 2016

binux

Dec 8, 2016

是非阻塞的，但是有槽位 /连接数限制