1、数据不全:爬取新浪专栏数据时,中国观察专栏爬取正常,但是银行专栏只能爬到7篇,此外的专栏的都无法爬取;另外试图在东方财富网爬取上市公司信息时, Rule(LinkExtractor(allow=("sh600 \d\d\d,))只能爬到两家上市公司的数据就停止了。
2、无法抓取:有些数字,如股价、市盈率爬下来是“-”。
求解答!
1
roricon 2015-03-09 12:07:49 +08:00
1.无法爬取是没有新页面的url进来,还是下载失败?
2.看看是否这些'-'的内容,是否是前端js生成的。如果是js生成的,Scrapy无法直接拿到,需要通过其他方法。 |