V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Andy1999
V2EX  ›  程序员

400M 的数据库, 1 亿 9 千行用什么索引比较好

  •  
  •   Andy1999 · Apr 4, 2016 via iPhone · 15505 views
    This topic created in 3674 days ago, the information mentioned may be changed or developed.
    直接 TXT 按照 hash 划分可以嘛?
    Supplement 1  ·  Apr 5, 2016
    V2EX 变贴吧?
    要 400M 没有 自己整理吧
    TG 群 https://telegram.me/joinchat/BICsbj5LZUyME9yGJqR0hA
    116 replies    2016-06-27 07:02:18 +08:00
    1  2  
    leakeung
        1
    leakeung  
       Apr 4, 2016
    你这个是想利用在网易 50G 数据查询吧,试试 sqlsrv
    xuandao
        2
    xuandao  
       Apr 4, 2016
    字母什么的也行 这个看个人喜好,反正最后查都是 CTRL+F
    moult
        3
    moult  
       Apr 4, 2016
    直接丢 Redis 。
    strwei
        4
    strwei  
       Apr 4, 2016
    同楼上
    Andy1999
        5
    Andy1999  
    OP
       Apr 4, 2016 via iPhone
    @leakeung 52G 特殊处理后只有 400M
    @xuandao 需要数据库么
    Andy1999
        6
    Andy1999  
    OP
       Apr 4, 2016 via iPhone
    @moult 已添加入备选
    ixinshang
        7
    ixinshang  
       Apr 4, 2016
    持续关注
    dingyaguang117
        8
    dingyaguang117  
       Apr 4, 2016
    mongodb

    另外 lz 给发一份 400M 的数据吧 多谢啦 dingyaguang117[AT]gmail.com
    mafuyu
        9
    mafuyu  
       Apr 4, 2016
    Redis+1 毕竟还有什么能比内存更快...
    slixurd
        10
    slixurd  
       Apr 4, 2016
    @mafuyu 这话说的不对
    搜索速度和在不在内存有什么关系
    主要是搜索的数据结构和算法得做好
    hjq98765
        11
    hjq98765  
       Apr 4, 2016
    求 LZ 顺便转发一份吧, 1024~

    hjq98765[AT]gmail.com
    hst001
        12
    hst001  
       Apr 4, 2016
    随便搞
    可以的话求一份给我?我再 pm 邮箱给 LZ 你
    sjtlqy
        13
    sjtlqy  
       Apr 4, 2016
    flybluewolf
        14
    flybluewolf  
       Apr 4, 2016
    LZ 转发一份吧,谢谢楼主
    michaelchen.live.com@gmail.com
    wanghuangjie
        15
    wanghuangjie  
       Apr 4, 2016
    方便发一份学习吗? [email protected]
    qa52666
        16
    qa52666  
       Apr 4, 2016
    求一份 zrl12321[AT]gmail.com
    sparkssssssss
        17
    sparkssssssss  
       Apr 4, 2016 via iPhone
    求转发一份, [email protected]
    试下 es
    Andy1999
        18
    Andy1999  
    OP
       Apr 4, 2016 via iPhone
    diwu
        19
    diwu  
       Apr 4, 2016
    求发一份,谢谢 LZ [email protected]
    likuku
        20
    likuku  
       Apr 4, 2016
    若把这些数据丢去 solr/elasticsearch 呢?反正都是静态数据,让搜索引擎系统处理后,提供搜索功能。
    maskerTUI
        21
    maskerTUI  
       Apr 4, 2016
    芒果 db 不错
    kxjhlele
        22
    kxjhlele  
       Apr 4, 2016
    [email protected] 求发一份。
    InFaNg
        23
    InFaNg  
       Apr 4, 2016 via Android
    sphinx 大法好
    aalska
        24
    aalska  
       Apr 4, 2016
    yc1017
        25
    yc1017  
       Apr 4, 2016
    [email protected] LZ 来一发 谢谢
    XianZaiZhuCe
        26
    XianZaiZhuCe  
       Apr 4, 2016 via iPhone
    crazylinus
        27
    crazylinus  
       Apr 4, 2016 via Android
    求楼主来一份, [email protected]
    DarsyCheuk
        28
    DarsyCheuk  
       Apr 4, 2016
    zodarsy[at]gmail.com 来一发数据
    mozutaba
        29
    mozutaba  
       Apr 4, 2016
    agmol108###qq.com Thanks!!!
    lujiajing1126
        30
    lujiajing1126  
       Apr 4, 2016
    postgresql 的 OLAP 引擎,或者直接上 Hbase

    公有云应该都有相应的服务,直接买就行

    可以参考 [A Billion Taxi Rides in PostgreSQL]( http://tech.marksblogg.com/billion-nyc-taxi-rides-postgresql.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io)
    jackyguest
        31
    jackyguest  
       Apr 4, 2016
    同求一份, lydipad[at]gmail.com ,一起研究,多谢啦
    xiongbiao
        32
    xiongbiao  
       Apr 4, 2016
    [email protected] 楼主好人:)
    BlueWolf
        33
    BlueWolf  
       Apr 4, 2016
    elasticsearch 索引建完后搜索极快, web api 查询方式友好
    horipse
        34
    horipse  
       Apr 4, 2016 via iPhone
    同求 [email protected]
    楼主好人
    ifconfig
        35
    ifconfig  
       Apr 4, 2016 via iPhone
    我也是 2 亿数据,楼主方便留个微信好友不
    alexapollo
        36
    alexapollo  
       Apr 4, 2016
    HBase
    Andy1999
        37
    Andy1999  
    OP
       Apr 4, 2016 via iPhone
    TemporaryID
        38
    TemporaryID  
       Apr 4, 2016   ❤️ 3
    我用的是 LevelDB
    网易的库导进去之后大概是 25GB
    https://163password.download/
    求不 D 啊,我又不是这条道上的人,不要打我嘛 T_T
    blcygzs
        39
    blcygzs  
       Apr 4, 2016
    楼主好人,给我一份吧。。
    ixinshang
        40
    ixinshang  
       Apr 4, 2016
    @TemporaryID 输入邮箱查询 乱码呢
    TemporaryID
        41
    TemporaryID  
       Apr 4, 2016
    @ixinshang 忘了在 header 加 charset 了
    懒得改了
    乱码的内容就是 UTF-8 编码的“未找到”
    ixinshang
        42
    ixinshang  
       Apr 4, 2016
    @TemporaryID 好吧
    Comdex
        43
    Comdex  
       Apr 4, 2016
    wcomdex[at]foxmail.com 楼主能给我一份数据么,谢谢
    mianju
        44
    mianju  
       Apr 4, 2016
    400M 这个可以有
    baiyangge
        45
    baiyangge  
       Apr 4, 2016
    [email protected] 谢谢楼主
    Gamon
        46
    Gamon  
       Apr 4, 2016
    704789#qq.com LZ 能否发一份学习,万分感谢!
    islandev
        47
    islandev  
       Apr 4, 2016
    ben.wangdev#gmail.com
    谢谢楼主

    推荐 solr/es
    dtysky
        48
    dtysky  
       Apr 4, 2016 via Android
    MrBearin
        49
    MrBearin  
       Apr 5, 2016
    Dannytmp
        50
    Dannytmp  
       Apr 5, 2016 via Android
    究竟是啥好东西,怎么这么多人要啊
    VYSE
        51
    VYSE  
       Apr 5, 2016 via Android
    这个级别 pg 轻松搞定,话说 163 那个真不像从网易泄露的,里面其他邮箱也有,而且还有我一个专门注册论坛的垃圾号,大号一个没有
    jason879
        52
    jason879  
       Apr 5, 2016
    [email protected] 多谢楼主!
    weaming
        53
    weaming  
       Apr 5, 2016
    iweaming#gmail.com
    yuhuigreed
        54
    yuhuigreed  
       Apr 5, 2016
    [email protected] 同求一份
    chenjunqiang
        55
    chenjunqiang  
       Apr 5, 2016
    88356983#qq.com 同求一份,谢谢
    airqj
        56
    airqj  
       Apr 5, 2016
    [email protected]
    谢谢楼主
    xiaolongyuan
        57
    xiaolongyuan  
       Apr 5, 2016
    [email protected]
    谢谢楼主
    odirus
        58
    odirus  
       Apr 5, 2016
    odirus#163.com

    谢谢楼主
    Bingbing
        59
    Bingbing  
       Apr 5, 2016
    [email protected] 谢谢楼主
    axzy
        60
    axzy  
       Apr 5, 2016
    谢谢楼主 [email protected]
    Lihz
        61
    Lihz  
       Apr 5, 2016
    [email protected] 谢谢楼主
    Poko
        62
    Poko  
       Apr 5, 2016
    顺求一份 [email protected]
    azh7138m
        63
    azh7138m  
       Apr 5, 2016 via Android
    歪个楼,好奇楼主是怎么整理的,可以说一下思路吗?我这里查询起来很慢,也想整理一下(・・;
    aboutyang
        64
    aboutyang  
       Apr 5, 2016
    272093579#qq.com 同求一份,谢谢
    taijia
        65
    taijia  
       Apr 5, 2016 via Android
    tangtaijia#gmail.com 楼主好人
    jzhao
        66
    jzhao  
       Apr 5, 2016
    jingkai.zhao#foxmail.com 楼主好人~
    yuan93
        67
    yuan93  
       Apr 5, 2016
    fishioon
        68
    fishioon  
       Apr 5, 2016
    1024 ,楼主好人 [email protected]
    ainimuyan
        69
    ainimuyan  
       Apr 5, 2016
    @Andy1999 谢谢楼主,学习学习, [email protected]
    ovear
        70
    ovear  
       Apr 5, 2016
    @Andy1999 _(:з」∠)_过期了 求一个
    hongye1990
        71
    hongye1990  
       Apr 5, 2016
    谢谢楼主, [email protected]
    orcusfox
        72
    orcusfox  
       Apr 5, 2016
    谢谢楼主, [email protected]
    linxin26
        73
    linxin26  
       Apr 5, 2016
    谢谢楼主

    [email protected]
    badcode
        74
    badcode  
       Apr 5, 2016   ❤️ 1
    有意思,出现了贴吧给邮箱求 xx 的场面,帮"某些人"谢谢你们的邮箱地址

    楼主辛苦了,被歪楼歪得,具体看 37L

    贴下昨天在其他帖子删的图,楼主 @Andy1999 是来寻求一种解决方法的,希望有用
    badcode
        75
    badcode  
       Apr 5, 2016
    第三个,加.exe 搜索可能快点
    domty
        76
    domty  
       Apr 5, 2016
    @TemporaryID
    你这个库是哪年的。感觉查出的邮箱密码得是 5 年前的了
    domty
        77
    domty  
       Apr 5, 2016
    hao11703
        78
    hao11703  
       Apr 5, 2016
    shaokaojun#gmail.com thx
    hiboshi
        79
    hiboshi  
       Apr 5, 2016
    谢谢楼主, [email protected]
    julypanda
        80
    julypanda  
       Apr 5, 2016
    谢谢楼主, [email protected]
    Perry
        81
    Perry  
       Apr 5, 2016 via iPhone
    V 站变贴吧
    calebx
        82
    calebx  
       Apr 5, 2016
    caleb.xiang#qq#com
    感谢 lz
    guxuede
        83
    guxuede  
       Apr 5, 2016
    谢谢楼主, guxuede#gmail.com
    rubytek
        84
    rubytek  
       Apr 5, 2016
    @TemporaryID 我查了下自己的一个常用邮箱,结果显示密码就是邮箱名。。。这个是不是不准啊。。
    kenshin912
        85
    kenshin912  
       Apr 5, 2016
    同求一份,感谢楼主
    [email protected]
    XDA
        86
    XDA  
       Apr 5, 2016
    贴吧即视感

    wizard.cc.xx 在 gmail

    楼主好人
    cheng12308
        87
    cheng12308  
       Apr 5, 2016 via iPhone
    楼主好人 [email protected]
    ifaii
        88
    ifaii  
       Apr 5, 2016
    [email protected]
    感谢分享~
    yishenggudou
        89
    yishenggudou  
       Apr 5, 2016
    楼主好人 [email protected]
    flight2006
        90
    flight2006  
       Apr 5, 2016
    tongfei1017 [at] gmail
    Note
        91
    Note  
       Apr 5, 2016
    @TemporaryID 可不可以分享一份,谢谢, [email protected]
    Braid
        92
    Braid  
       Apr 5, 2016
    [email protected]
    感谢分享
    addbook
        93
    addbook  
       Apr 5, 2016
    楼主好人 [email protected]
    kirisetsz
        94
    kirisetsz  
       Apr 5, 2016
    不小心回复到 /t/267974 去了……
    chrislon
        95
    chrislon  
       Apr 5, 2016
    楼主好人,求一份 [email protected]
    strwei
        96
    strwei  
       Apr 5, 2016
    tjxiter
        97
    tjxiter  
       Apr 5, 2016
    楼主好人, [email protected]
    weixuegg
        98
    weixuegg  
       Apr 5, 2016
    感谢楼主分享 weixuegg[at]gmail.com
    y835L9DyC5XD09kq
        99
    y835L9DyC5XD09kq  
       Apr 5, 2016
    [email protected]
    楼主好人
    fordawn
        100
    fordawn  
       Apr 5, 2016
    [email protected] 楼主好人
    1  2  
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   823 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 204ms · UTC 20:50 · PVG 04:50 · LAX 13:50 · JFK 16:50
    ♥ Do have faith in what you're doing.