V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
sdjl
V2EX  ›  问与答

目前抓淘宝数据会被封 IP 吗?前十位回答问题的朋友必发送感谢!

  •  
  •   sdjl · 2014-12-31 17:21:09 +08:00 · 8059 次点击
    这是一个创建于 3601 天前的主题,其中的信息可能已经有所发展或是发生改变。
    有个客户联系我,要抓淘宝的数据,其实我就想问一下大家,你们最近抓过淘宝的数据么?

    如果抓取量较大会被封IP吗?

    要先确保这个问题,才敢回复对方是否能接这个活呢,所以来v2ex问问,以免答应了客户最后发现抓不了。

    作为回报,前十位有效回答者均发送感谢,确定答案后我会主动下沉帖子。

    回答时请多一些说明,说说你的案例。 类似“可以”、“不可以”、“不会”这种非常简单的回复一律视为无效回复。
    15 条回复    2014-12-31 22:31:35 +08:00
    laozhao0
        1
    laozhao0  
       2014-12-31 17:54:33 +08:00   ❤️ 1
    可以。我们用来抓取淘宝、天猫的商品类目、标题、价格(最难)等数据,用阿里云。完全没问题,因为相当于内网。
    BlueFly
        2
    BlueFly  
       2014-12-31 17:58:27 +08:00
    那些比价APP都有抓取淘宝的价钱,肯定是有法子的
    flynaj
        3
    flynaj  
       2014-12-31 17:58:40 +08:00 via Android   ❤️ 1
    看你的频率跟量了,频率调慢点就没有事
    crab
        4
    crab  
       2014-12-31 18:05:08 +08:00   ❤️ 1
    有限制的,会出现验证码让你输入。
    Dannytmp
        5
    Dannytmp  
       2014-12-31 18:05:21 +08:00   ❤️ 1
    不要没完没了就没事,现在做淘客用的代码还不是靠抓,人工的话早累死了
    dreamcog
        6
    dreamcog  
       2014-12-31 18:07:39 +08:00   ❤️ 1
    求感谢!不知道!
    CDuXZMAPgHp1q9ew
        7
    CDuXZMAPgHp1q9ew  
       2014-12-31 18:24:46 +08:00
    直接抓比价网的.....哈哈
    alay9999
        8
    alay9999  
       2014-12-31 18:25:55 +08:00
    会,记得以前有个帖子就是研究如何范屏蔽的
    imn1
        9
    imn1  
       2014-12-31 18:28:06 +08:00   ❤️ 1
    要说清楚淘宝什么数据,淘女郎的图片我抓了300+G,然后删了280+G
    价格没兴趣抓
    allen3921
        10
    allen3921  
       2014-12-31 18:42:06 +08:00   ❤️ 1
    一般没啥事,但是有些需要登录抓取的,抓太频繁了会被封禁。
    zzNucker
        11
    zzNucker  
       2014-12-31 18:44:09 +08:00   ❤️ 1
    会,有防爬策略限制你。
    blakefan
        12
    blakefan  
       2014-12-31 18:55:37 +08:00 via Android   ❤️ 1
    会,限制你,看你的频率和量了
    humiaozuzu
        13
    humiaozuzu  
       2014-12-31 19:36:21 +08:00   ❤️ 1
    我们抓的很厉害,没封。
    抓 html 解析出数据这样,频率在 1w+/h
    Linxing
        14
    Linxing  
       2014-12-31 21:07:16 +08:00
    之前爬豆瓣都被封,淘宝也会吧
    s2555
        15
    s2555  
       2014-12-31 22:31:35 +08:00   ❤️ 1
    我也在抓,每天也就几千,中间会有一两次连接不了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2747 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 08:59 · PVG 16:59 · LAX 00:59 · JFK 03:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.