V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
polandeme
V2EX  ›  程序员

请教一个关于淘宝商品详情实时获取问题?

  •  
  •   polandeme ·
    polandeme · Mar 23, 2017 · 2556 views
    This topic created in 3327 days ago, the information mentioned may be changed or developed.

    如题,类似于什么值得买,豆瓣东西等商品聚合类网站,提交一个商品 url 就可以拿到商品详情信息。

    想问一下他们是爬虫还是内部公司之间的合作?

    如果是爬虫,必须渲染 js 才可以拿到部分数据,但是我用 phantomjs 去做渲染,可以拿到数据,但是至少 10s,是不是有更好的解决方案?

    PS: 淘宝原先的 API 已经关闭了

    5 replies    2017-03-24 14:26:51 +08:00
    knightdf
        1
    knightdf  
       Mar 23, 2017
    想要快只能去 hack 接口了把
    waczx
        2
    waczx  
       Mar 24, 2017
    淘宝和京东可以在 jsonp 里面取一些商品信息。
    cncqw
        3
    cncqw  
       Mar 24, 2017
    目测用的是爬虫,定时抓取,然后提交 URL 后从自己数据库查,不然不可能那么快。
    polandeme
        4
    polandeme  
    OP
       Mar 24, 2017
    @waczx jsonp 应该做了一些反爬虫,发现模拟请求也老是得不到,请指教一二,谢谢
    polandeme
        5
    polandeme  
    OP
       Mar 24, 2017
    @cncqw 这么多商品信息,这也太大了吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2340 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 01:38 · PVG 09:38 · LAX 18:38 · JFK 21:38
    ♥ Do have faith in what you're doing.