V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fourstone
V2EX  ›  外包

[找外包]不折腾内存数据库了,直接重新开发吧.预算 2k,有时间能力的大神帮个忙吧

  •  
  •   fourstone · 2017-09-12 16:26:20 +08:00 · 753 次点击
    这是一个创建于 2633 天前的主题,其中的信息可能已经有所发展或是发生改变。
    现在的环境
    windows2008 r2+mssql2014
    数据一千万行,800m(这已经是我 3 年的数据总和了)
    自己不会搞了,也搞了很久了,一开始开发功能一点点添加起来,没有速度要求,所以数据结构很乱了。筋疲力尽,(主要还是自己能力不够,时间也不够用了),还是请有能力有时间的 mjj 帮忙开发一下。

    软件环境:
    windows 下面能使用,什么 mssql,mysql,db,开发环境语言的无所谓,只要速度达标,越快越好

    软件要求:
    每天本地导入分析一份 100w 行,两列(A 列数字,B 列字母),纯字母和数字的 csv.22MB 大小
    进行分析,查询,比较
    速度是关键的,要求导入+查询全部 1s 内完成,也就是毫秒级
    环境在服务器上,win2008 r2 ,但是是纯个人使用
    假如这全是模糊搜索,那么 1 千万行,后面的几千万行的时候,速度也不要慢太多,1s 左右差距。估计我 10 年也到不了几千万行。
    原有数据采集过去还是到处 csv,再全部导过去?
    开发时间:
    因为我现在手上有完整的软件和数据库可以用,但是速度瓶颈了。
    所以具体软件功能也不多,有现成的给你参考
    其实就是导入,分析,查询,提取
    我知道大神都比较忙,这也只是一个金额不大的外包,所以在你完成工作,把完妹,撸完之后
    抽时间尽快搞定。
    一周?你定吧。

    请有能力有时间的 mjj 联系我 qq,感谢
    49 六一 47 九五三



    来,技术 mjj,翻我牌子吧
    第 1 条附言  ·  2017-09-12 22:58:45 +08:00
    ps:此贴暂停,加的人太多了,我都来不及和每个说逻辑了。
    先暂停了,这几个大神应该能搞好。
    题外话,有的大神加我的时候都快 20 点,还在公司或者刚刚下班路上
    向你们这些前线技术员致敬,真的太辛苦了
    17.9.12
    9 条回复    2017-09-13 22:21:11 +08:00
    jatesun
        1
    jatesun  
       2017-09-12 18:02:16 +08:00 via iPhone
    2k 你应该去二师兄那儿,v2 你就天真了
    DeadLion
        2
    DeadLion  
       2017-09-12 18:43:35 +08:00
    导入 100w 行的数据 1s 够吗?
    fourstone
        3
    fourstone  
    OP
       2017-09-12 19:30:31 +08:00
    @jatesun 那估计加我那么多个都是来自假的 v2 吧
    jatesun
        4
    jatesun  
       2017-09-12 21:03:54 +08:00 via iPhone
    @fourstone 可能是假的→_→
    nooper
        5
    nooper  
       2017-09-12 21:33:31 +08:00 via iPad
    OK,好搞
    v2orz
        6
    v2orz  
       2017-09-13 08:20:12 +08:00
    关注一下,导入也要这么快怎么搞
    Hozzz
        7
    Hozzz  
       2017-09-13 10:15:57 +08:00
    相当于不带索引表 100W 行数据导入+全表扫描=1s ?
    P.S:刚刚在其他数据库上试了下装载 100W 行的数据( char(22),decimal(14,2)),纯文本数据载入空表,耗时 5s
    hienchu
        8
    hienchu  
       2017-09-13 21:01:17 +08:00 via iPhone
    感觉这是个典型的 x-y 问题,我相信你的问题根本用不着数据库
    wade
        9
    wade  
       2017-09-13 22:21:11 +08:00
    这么快
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4887 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 09:57 · PVG 17:57 · LAX 01:57 · JFK 04:57
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.