• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Northxw
V2EX  ›  程序员

挂代理也被要求验证?

  •  
  •   Northxw · Apr 7, 2019 · 4139 views
    This topic created in 2596 days ago, the information mentioned may be changed or developed.
    买了几个大洋的付费代理,爬取 58 同城,但还是有一半的 IP 被要求验证,难道说是我大洋给少了??? 然后我又添加了 UA 中间件,效果稍微好一点。但还是会有很多动态 IP 被 ban 掉,想问大家有什么解决办法没。
    20 replies    2019-04-09 21:46:57 +08:00
    cpdyj0
        1
    cpdyj0  
       Apr 7, 2019 via Android
    代理的 IP 被 ban 掉很正常咯,可以考虑中转 emmm
    Northxw
        2
    Northxw  
    OP
       Apr 7, 2019
    @cpdyj0 emmm... 代理 IP 不就是中转请求的吗,为什么还要中转! 怎么中转.... 求解释。
    claysec
        3
    claysec  
       Apr 7, 2019   ❤️ 1
    @Northxw 现在爬虫的话最好的话用分布式+动态 ip+随机 UA +随机时间请求的方式。最大化减少被 ban 的可能。
    andylsr
        4
    andylsr  
       Apr 7, 2019 via Android
    adsl
    Northxw
        5
    Northxw  
    OP
       Apr 7, 2019
    @claysec 随机时间你一般控制在哪个区间,可不要放弃效率啊。


    @andylsr 噗,贵的 ya 皮。
    andylsr
        6
    andylsr  
       Apr 7, 2019 via Android
    @Northxw 代理不靠谱~钱也是白花~不如 adsl 按周付费~也没那么贵
    e2c
        7
    e2c  
       Apr 7, 2019
    现在不是能判断 IP 是否为 IDC 机房的 IP,这样就能大概知道是真人还是机房代理,所以被 BAN 的机率就上去了
    Northxw
        8
    Northxw  
    OP
       Apr 7, 2019
    @andylsr 我先前看最低好像时按月付费 emmm... 可以了解一下

    @e2c 嗯哼?这个我还不知道哎
    claysec
        9
    claysec  
       Apr 7, 2019
    @Northxw 1-3s 3-5s 这两个区间。效率可以用时间弥补。不能快而求其次啊。除非你抓的东西真的一点都不重要,哈哈哈哈(滑稽)
    claysec
        10
    claysec  
       Apr 7, 2019
    @Northxw #7 也是参考依据之一
    ji4ozhu
        11
    ji4ozhu  
       Apr 7, 2019
    www.54nb.com 参考下
    andylsr
        12
    andylsr  
       Apr 7, 2019 via Android
    @Northxw 善用淘宝。。。
    Northxw
        13
    Northxw  
    OP
       Apr 7, 2019
    @andylsr 搜嘎
    Northxw
        14
    Northxw  
    OP
       Apr 7, 2019
    @ji4ozhu 可以的
    shuiyingwuhen
        15
    shuiyingwuhen  
       Apr 8, 2019
    代理的 IP 被 ban 掉很正常咯
    Northxw
        16
    Northxw  
    OP
       Apr 8, 2019
    @shuiyingwuhen 看来还是要搞 ADSL,真机般的存活,美滋滋。哈哈
    shuiyingwuhen
        17
    shuiyingwuhen  
       Apr 9, 2019 via Android
    @Northxw 我还真用的是 ADSL
    Northxw
        18
    Northxw  
    OP
       Apr 9, 2019
    @shuiyingwuhen 贵吗?求推荐。
    shuiyingwuhen
        19
    shuiyingwuhen  
       Apr 9, 2019
    @Northxw 中国联通 720 元 /2 年
    坐标:成都
    Northxw
        20
    Northxw  
    OP
       Apr 9, 2019
    @shuiyingwuhen 很便宜,很实惠
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3092 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 03:51 · PVG 11:51 · LAX 20:51 · JFK 23:51
    ♥ Do have faith in what you're doing.