xiaoyu9527
V2EX  ›  问与答

关于 scrapy 复制 xpath 抓取的问题。

  •  
  •   xiaoyu9527 · Aug 23, 2016 · 2639 views
    This topic created in 3730 days ago, the information mentioned may be changed or developed.

    http://bcy.net/coser/detail/22243/755846

    我终于破处各种障碍到开始抓取半次元这一步了。

    具体可以点我名字看我发的帖子。

    但是还是遇到点关于 xpath 的问题。

    这里头的图片我用浏览器的 xpath

    /html/body/div[1]/div[2]/div/div[2]/div[1]/div[1]/article/div[1]/div/div/img 下来是这样。 但是当我打开网页的时候开始是搜索不到的。 必须等一会才能搜素的到。

    //img[@class="detail_std detail_clickable"]/@src

    但是别人写的这样的 就立马能搜索到。 能否有人解释一下是什么原因?

    4 replies  •  2016-08-23 18:54:23 +08:00
    xiaoyu9527
    xiaoyu9527
    OP
    Aug 23, 2016
    1
    求教高手解答。
    Sherlocker
    Sherlocker
    Aug 23, 2016
    2
    xpath 语法看三遍
    187j3x1
    187j3x1
    Aug 23, 2016
    3
    js 动态生成咯 没加密就可以直接爬后端 json 吧
    直接复制 chrome xpth 是最懒方法 这路径就是绝对逐级定位 笨得很 下面那种就是直接到位 google 学习 xpath 吧 打字发帖时间够入门了
    kinghs
    kinghs
    Aug 23, 2016
    4
    F12 看 doc 请求,然后把内容保存下来,这个应该是和 scrapy 请求得到的一样的,然后右键审查元素,右键 xpath ,这样获取的 xpath 在 scrapy 中应该是可用的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1988 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 15:16 · PVG 23:16 · LAX 07:16 · JFK 10:16
    ♥ Do have faith in what you're doing.