V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
husinhu
V2EX  ›  程序员

哪位爬虫大仙玩过从试过从淘宝店铺爬商品?

  •  
  •   husinhu · 2014-12-18 10:12:35 +08:00 · 3906 次点击
    这是一个创建于 3612 天前的主题,其中的信息可能已经有所发展或是发生改变。
    商品展示的div是动态生成的,似乎是ajax(?),另外还用了kissy的lazyload。
    我试了headless firefox (selenium),WebDriver,都没成功。
    9 条回复    2014-12-20 08:46:44 +08:00
    zealic
        1
    zealic  
       2014-12-18 10:14:07 +08:00
    用 Casper.js http://casperjs.org/
    zealic
        2
    zealic  
       2014-12-18 10:15:37 +08:00
    Selenium 最好用 Ghost Driver,和 Caspser.js 的技术原理是一样的
    binux
        3
    binux  
       2014-12-18 10:20:17 +08:00
    你会写一个淘宝店铺,你就会爬了。
    husinhu
        4
    husinhu  
    OP
       2014-12-18 13:57:42 +08:00
    @zealic 谢谢,这个和phantomjs啥区别,你试过吗
    husinhu
        5
    husinhu  
    OP
       2014-12-18 13:58:47 +08:00
    @binux 用过大神的pyspider,没搞过淘宝店铺!
    scarlex
        6
    scarlex  
       2014-12-18 14:12:19 +08:00
    @husinhu 那个是封装过的 phantomjs,简单一点
    icedx
        7
    icedx  
       2014-12-18 14:20:25 +08:00
    刚看来下淘宝居然用了webp
    YAFEIML
        8
    YAFEIML  
       2014-12-19 15:36:34 +08:00
    @zealic 头像好帅,求一个呗
    zealic
        9
    zealic  
       2014-12-20 08:46:44 +08:00
    @YAFEIML DOTA 的蓝猫歪脖子头像,当时貌似是在微博找到的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3107 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 13:07 · PVG 21:07 · LAX 05:07 · JFK 08:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.