V2EX › caneman 的所有回复 › 第 9 页 / 共 9 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9

❮

❯

2019 年 5 月 5 日

回复了 caneman 创建的主题 › Python › Scrapy 效率瓶颈

@InternetExplorer 我试了调并发数并没有显著的影响到我的抓取速率，而且对方的站是绝对扛得住的（是个大站）。
这里我虽然写的很大，但是其实抓取频率并没有很高（所以才一直没改），而且抓取到的页面都是按顺序的，我觉得是不是我的抓取逻辑有问题，应该怎么样改善呢？

1 2 3 4 5 6 7 8 9

❮

❯