V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
doubleflower
V2EX  ›  奇思妙想

开发一个 IP 共享组织软件怎样?这样就解决找爬虫代理 IP 的问题了,还无法被封杀 (学语言不知道拿什么来练手的可以试试)

  •  
  •   doubleflower · 2016-11-25 11:52:19 +08:00 · 2762 次点击
    这是一个创建于 2906 天前的主题,其中的信息可能已经有所发展或是发生改变。
    比如写一个软件,运行在本地,对外提供一个 HTTP 代理 API 。

    然后,就可能拿这个软件来成立各种爬虫分享组织,入会的条件是运行这个软件在自已的电脑上,这样会员之间的 IP 就共享了。

    这个 API 需提供一个认证功能,比如要加入哪个共享组织 /密码,可能还要做积分功能防止只用不分享(可能需要一个 VPS 来管理会员和积分)。

    这个软件应该不超过 2000 行代码。

    怎样?有人想试吗
    11 条回复    2017-05-11 14:35:44 +08:00
    nashsu
        1
    nashsu  
       2016-11-25 11:59:57 +08:00   ❤️ 1
    请参考 luminati
    cxh116
        2
    cxh116  
       2016-11-25 12:23:42 +08:00 via Android
    访问或上传非法信息怎么处理?
    doubleflower
        3
    doubleflower  
    OP
       2016-11-25 12:23:54 +08:00
    @nashsu 卧槽原理基本一样,不过价格比较感人。
    doubleflower
        4
    doubleflower  
    OP
       2016-11-25 12:24:33 +08:00
    @cxh116 只支持 http get 请求啊,无法上传的
    missdeer
        5
    missdeer  
       2016-11-25 12:41:28 +08:00
    http post 是爬虫必须的吧
    ksc010
        6
    ksc010  
       2016-11-25 13:22:06 +08:00
    这个软件我已经写出来了,打算自己内部使用的
    但是安全隐患不好解决
    doubleflower
        7
    doubleflower  
    OP
       2016-11-25 18:58:06 +08:00
    @ksc010 那就自已买个 VPS 入会,这样就没安全问题了。
    yankebupt
        8
    yankebupt  
       2016-11-25 19:25:05 +08:00 via Android
    安全大问题。大一点的反爬担当只要入个会申请爬个蜜罐,就能抓到大量爬虫 ip 段用来增强验证码强度,甚至可以专门每天爬蜜罐用来把 ip 库批发给其他反爬,你安全又不能安全到洋葱那种程度
    wizardforcel
        9
    wizardforcel  
       2016-11-27 12:18:36 +08:00
    我基本不用共享,需要的时候自己扫。
    jyf
        10
    jyf  
       2016-11-28 16:37:05 +08:00
    昨天刚跟基友开了个这项目
    ji4ozhu
        11
    ji4ozhu  
       2017-05-11 14:35:44 +08:00
    请参考 www.54nb.com
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2684 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 00:06 · PVG 08:06 · LAX 16:06 · JFK 19:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.