V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
decaywood
V2EX  ›  程序员

求一个队友维护一个 Java 爬虫项目

  •  
  •   decaywood ·
    decaywood · 2016-04-11 21:16:26 +08:00 · 3895 次点击
    这是一个创建于 3147 天前的主题,其中的信息可能已经有所发展或是发生改变。
    这是一个雪球网的股票爬虫项目,个人由于快找工作了,没时间管理,希望有朋友能够帮忙打理一下。主要是修复一些 bug : https://github.com/decaywood/XueQiuSuperSpider
    27 条回复    2016-04-14 19:45:19 +08:00
    root787
        1
    root787  
       2016-04-11 22:14:46 +08:00
    看了一眼,看到 Java ,顿时没了兴趣。
    cs4814751
        2
    cs4814751  
       2016-04-11 22:19:43 +08:00
    Java 菜鸟可以吗?(⊙﹏⊙)
    weizhixiang
        3
    weizhixiang  
       2016-04-11 22:26:55 +08:00 via Android
    看不懂,刚学会用 python 的 Yahoo 接口获取数据画 k 线图
    ob
        4
    ob  
       2016-04-11 22:34:45 +08:00 via Android
    都抓哪些东西,有空我看看。
    decaywood
        5
    decaywood  
    OP
       2016-04-11 22:52:29 +08:00
    @ob 基本上都可以抓,架构为开放式设计的
    decaywood
        6
    decaywood  
    OP
       2016-04-11 22:52:53 +08:00
    @cs4814751 可以,按照约定开发即可
    zhtsuc
        7
    zhtsuc  
       2016-04-11 23:04:27 +08:00
    java 多年,不知道咋打理
    Bryan0Z
        8
    Bryan0Z  
       2016-04-11 23:06:32 +08:00 via Android
    菜鸟来凑个热闹
    273579540
        9
    273579540  
       2016-04-11 23:10:54 +08:00
    我有兴趣,不过技术还不到家,多谢提供这么好我项目学习。
    reeco
        10
    reeco  
       2016-04-11 23:15:14 +08:00
    已 star
    gxz1989611
        11
    gxz1989611  
       2016-04-12 08:48:36 +08:00
    似乎是要升级到 java8 才能编译啊?我这 java7 编译失败了诶~
    sunfanteng
        12
    sunfanteng  
       2016-04-12 09:39:25 +08:00
    我也是做 Java 的,一起学习吧。
    zjxzhqq
        13
    zjxzhqq  
       2016-04-12 09:47:05 +08:00
    没做过爬虫,想试试
    decaywood
        14
    decaywood  
    OP
       2016-04-12 10:26:32 +08:00
    @gxz1989611 项目核心就是 Java8 的并行流,所以拓展性几乎没有限制
    decaywood
        15
    decaywood  
    OP
       2016-04-12 10:27:38 +08:00
    @zhtsuc 如果炒股的话,可以根据自己需要提供一些模块,以及修复一些可能的 bug ,虽然运行这么久鲜有 bug
    libiao5320
        16
    libiao5320  
       2016-04-12 11:47:34 +08:00
    Mapper: Network busy Retrying -> 2 times
    Mapper: Network busy Retrying -> 2 times
    Mapper: Network busy Retrying -> 3 times
    Mapper: Network busy Retrying -> 3 times
    Mapper: Network busy Retrying -> 3 times
    Mapper: Network busy Retrying -> 3 times
    Mapper: Network busy Retrying -> 3 times
    Mapper: Network busy Retrying -> 4 times
    Mapper: Network busy Retrying -> 4 times
    Mapper: Network busy Retrying -> 4 times
    Mapper: Network busy Retrying -> 4 times
    Mapper: Network busy Retrying -> 4 times
    Mapper: Network busy Retrying -> 5 times
    Mapper: Network busy Retrying -> 5 times
    Mapper: Network busy Retrying -> 5 times
    Mapper: Network busy Retrying -> 5 times
    Mapper: Network busy Retrying -> 5 times


    楼主为什么会出现这种情况?
    decaywood
        17
    decaywood  
    OP
       2016-04-12 11:54:49 +08:00
    @libiao5320 两种情况,一:你抓取太频繁,被限制了。 二:雪球网 cookie 机制有变化,这个问题需要经常维护的,你看看是那个模块出的问题
    kenshinji
        18
    kenshinji  
       2016-04-12 13:10:08 +08:00
    有意思,我有兴趣 :)
    decaywood
        19
    decaywood  
    OP
       2016-04-12 14:53:00 +08:00
    @kenshinji 非常欢迎~
    @libiao5320 bug 已修复,雪球访问协议改成 https 了
    helloworldwt
        20
    helloworldwt  
       2016-04-12 15:00:46 +08:00
    我也有兴趣,求加入
    yubeiluo
        21
    yubeiluo  
       2016-04-12 15:36:26 +08:00
    成电的高才生啊,还是老乡,我也有兴趣!
    mr253727942
        22
    mr253727942  
       2016-04-12 16:59:23 +08:00
    有兴趣 顺便我来学学 java8,楼主给力
    decaywood
        23
    decaywood  
    OP
       2016-04-12 21:59:36 +08:00
    @helloworldwt 直接 star 或者 fork 就可以开始了 :)
    decaywood
        24
    decaywood  
    OP
       2016-04-12 22:00:00 +08:00
    @yubeiluo 过奖了,湖南的?
    JaHIY
        25
    JaHIY  
       2016-04-13 21:33:42 +08:00
    最近刚学 groovy ,不是很懂 java …
    goribun
        26
    goribun  
       2016-04-13 21:58:14 +08:00
    算我一个
    zhjiann
        27
    zhjiann  
       2016-04-14 19:45:19 +08:00
    @helloworldwt 我次奥。头像重合了。我要换头像。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1250 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 17:57 · PVG 01:57 · LAX 09:57 · JFK 12:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.