要爬的网站的评论是由服务端直接一次生成正文内容和评论,非 ajax 调接口获取。这种情况 scrapy 怎样能做到评论即能分页抓取还能和正文内容关联起来。想到的办法是写两个 spider 分别抓取正文和评论,然后再通过程序,根据贴子 id 关联起来。有没有办法一个 spider 直接搞定,item['content'],item['content'],请教下大家!
1
ioiogoo 2018-06-22 15:51:37 +08:00
可以通过 scrapy 的 meta 将信息传递给下一个 callback 处理函数,相当于是多个导航分类下多篇文章,多个评论,网上搜下,很多例子
|
3
congeec 2018-06-23 00:37:25 +08:00
def parse_article(self, response):
____item = Item() ____yield scrapy.Request(url, meta={'item': item}, callback=self.parse_reviews) def parse_reviews(self, response): ____item = response.meta['item'] # here be the magic |