scrapy 新手，想到一个问题，比如京东有很多商品，不能确定它们的总数，所以即使爬回来很多数据，怎么判断是否已经把所有的商品都爬取到了
如果不能判断，应该采取什么方法尽可能多的爬数据
crawlspider 可以做整站爬取，但是是不是真的能够取尽所有的 url ？
跪求大神解答
如果不能判断，应该采取什么方法尽可能多的爬数据
crawlspider 可以做整站爬取，但是是不是真的能够取尽所有的 url ？
跪求大神解答
This topic created in 2887 days ago, the information mentioned may be changed or developed.
 |
1
nine99 Jun 20, 2018
没有通用的方法，得看你爬的思路
|
 |
2
tozp Jun 20, 2018
只要思路是正确的，爬虫 finish 的时候就爬完了。
|
 |
3
rootx Jun 20, 2018 via iPhone
自己想
|
 |
4
shangfabao Jun 20, 2018
自己判断
|
 |
5
icy37785 Jun 21, 2018 via iPhone
木有通用方法
|
Select Language