V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
suguoguosu
V2EX  ›  问与答

Scrapy 爬虫数据抓取不全和部分内容无法抓取怎么办

  •  
  •   suguoguosu · 2015-03-09 09:45:06 +08:00 · 4254 次点击
    这是一个创建于 3545 天前的主题,其中的信息可能已经有所发展或是发生改变。

    1、数据不全:爬取新浪专栏数据时,中国观察专栏爬取正常,但是银行专栏只能爬到7篇,此外的专栏的都无法爬取;另外试图在东方财富网爬取上市公司信息时, Rule(LinkExtractor(allow=("sh600 \d\d\d,))只能爬到两家上市公司的数据就停止了。

    2、无法抓取:有些数字,如股价、市盈率爬下来是“-”。

    求解答!

    1 条回复    2015-03-09 12:07:49 +08:00
    roricon
        1
    roricon  
       2015-03-09 12:07:49 +08:00
    1.无法爬取是没有新页面的url进来,还是下载失败?
    2.看看是否这些'-'的内容,是否是前端js生成的。如果是js生成的,Scrapy无法直接拿到,需要通过其他方法。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1210 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 23:11 · PVG 07:11 · LAX 15:11 · JFK 18:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.