V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
15399905591
V2EX  ›  Python

国外 http 代理库

  •  
  •   15399905591 · Sep 6, 2017 · 10704 views
    This topic created in 3162 days ago, the information mentioned may be changed or developed.
    公司有个爬虫项目,需要使用指定国家的 http,找了好几个服务商都不太合适,主要都是国家太少,好不容易找到一家,研究了半天,结果对方说不支持 goole 的爬虫,我这边需要抓取 goole play。求大神介绍个服务商,跪谢!!
    Supplement 1  ·  Sep 7, 2017
    需要指定国家的代理 IP,付费的也可以,每个国家至少得有几百个 IP,能支持大部分主流国家。
    34 replies    2020-04-03 21:40:02 +08:00
    qq583708076
        1
    qq583708076  
       Sep 6, 2017
    国外的么
    yuanfnadi
        2
    yuanfnadi  
       Sep 6, 2017
    google ?
    15399905591
        3
    15399905591  
    OP
       Sep 6, 2017
    @qq583708076 是的,需要能指定国家的
    15399905591
        4
    15399905591  
    OP
       Sep 6, 2017
    @yuanfnadi 需要使用指定国家的 IP,抓取 goole 的内容
    nazor
        5
    nazor  
       Sep 6, 2017 via iPhone
    自己维护个池吧,我之前做的一个池,总计 8000 个 ip 左右,800 个可用 ip 还是有的,至于国家,那就离线 ip 库查一下,很快的。
    akafeng
        6
    akafeng  
       Sep 6, 2017
    什么国家呢 ?
    Soar360
        7
    Soar360  
       Sep 6, 2017 via iPhone   ❤️ 4
    google play 我爬过 而且很成功 可以拿到所有 sdk 版本的 apk 等
    代理 IP 搭车来一波
    https://proxy.coderbusy.com
    xiaozuo
        8
    xiaozuo  
       Sep 6, 2017
    需要什么国家,还有预算?
    ctsed
        9
    ctsed  
       Sep 6, 2017 via Android
    @Soar360 高匿普匿什么意思呢
    6IbA2bj5ip3tK49j
        10
    6IbA2bj5ip3tK49j  
       Sep 6, 2017
    如果是爬 Google Play,可以选择买特定国家的账号。账号锁区了之后,无论是哪儿的 IP,都是锁区的数据。
    KentY
        11
    KentY  
       Sep 6, 2017
    @Soar360 能获取中国大陆 ip 的代理吗?
    Soar360
        12
    Soar360  
       Sep 6, 2017 via iPhone
    Soar360
        13
    Soar360  
       Sep 6, 2017 via iPhone
    @xgfan 还是跟 IP 有关的 感觉 IP 的成本比锁区小好多
    Soar360
        14
    Soar360  
       Sep 6, 2017 via iPhone
    @KentY 大部分都是国内的 地址归属地不久上线 已经在开发中了
    Soar360
        15
    Soar360  
       Sep 6, 2017 via iPhone
    其实 我最初的做法是开多个 ssr,非常好用。
    KentY
        16
    KentY  
       Sep 6, 2017
    @Soar360 我想用脚本获取你最快的国内代理....访问国内网站用, 如果你的代理稳定的话. 目前用的网站一个个都关了.
    dsg001
        17
    dsg001  
       Sep 6, 2017
    公司项目应该有预算吧,买对应国家的 vps 或服务器,根据预算多绑些 IP
    cuebyte
        18
    cuebyte  
       Sep 6, 2017
    我发现 lz 就没打对过 google 这个词
    cuebyte
        19
    cuebyte  
       Sep 6, 2017
    对方当然不支持 goole 啦,你从来都没打对过(笑
    Soar360
        20
    Soar360  
       Sep 6, 2017 via iPhone
    @KentY 自用的话 付费的 ssr 会好很多
    Yeungsin
        21
    Yeungsin  
       Sep 7, 2017 via iPhone
    @nazor 借楼问下 ip 池初始的 IP 资源是网上公开的爬取的么?
    15399905591
        22
    15399905591  
    OP
       Sep 7, 2017
    @Soar360 那你的 google play 是区别国家的吗? 不同国家的排行榜都是不同的,google play 会先根据 IP 去确认语言的~
    15399905591
        23
    15399905591  
    OP
       Sep 7, 2017
    @nazor 这个量会比较少,我们这边抓取量每天至少是百万级的,这个 IP 数完全不够用,且需要大部分主流国家的 IP。
    15399905591
        24
    15399905591  
    OP
       Sep 7, 2017
    @xiaozuo 大部分主流国家都是需要的,具体费用可以去申请。
    15399905591
        25
    15399905591  
    OP
       Sep 7, 2017
    @xgfan 买账号肯定不行的,一个是抓取频率限制,且费用比买 IP 高多了。
    15399905591
        26
    15399905591  
    OP
       Sep 7, 2017
    @cuebyte 不要在意这么多细节,哈哈
    nazor
        27
    nazor  
       Sep 7, 2017 via iPhone
    @Yeungsin 是的,公开的可用率比较低,10%左右吧。
    15399905591
        28
    15399905591  
    OP
       Sep 7, 2017
    @nazor 朋友,有国外的 IP 么~~
    Soar360
        29
    Soar360  
       Sep 7, 2017
    @15399905591 肯定是按照 IP 区分国家的。
    Yeungsin
        30
    Yeungsin  
       Sep 7, 2017 via iPhone
    @nazor 再麻烦下,剩下的 ip 是通过脚本遍历 ip 验证是不是代理找出来的?还是有什么方法啊?机密的话就算啦。多谢!
    nazor
        31
    nazor  
       Sep 7, 2017
    @Yeungsin 这肯定要持续更新可用 IP 的,不过验证速度很快的,超时设置短一点即可。
    sunwei0325
        32
    sunwei0325  
       Sep 7, 2017
    试过 crawlera 吗
    15399905591
        33
    15399905591  
    OP
       Sep 12, 2017
    @sunwei0325 注册了没发激活邮件就没用了。。
    thomasRZ
        34
    thomasRZ  
       Apr 3, 2020
    www.rola-ip.site 不错,全球 210+国家 IP,支持 http/socks 协议。全部高匿名 IP 。爬过 amazon 。。。溜
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   792 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 73ms · UTC 22:08 · PVG 06:08 · LAX 15:08 · JFK 18:08
    ♥ Do have faith in what you're doing.