jinxueliu
V2EX  ›  数据库

存储大量的文件该选用哪种数据库?

  •  
  •   jinxueliu · Aug 31, 2016 · 3017 views
    This topic created in 3568 days ago, the information mentioned may be changed or developed.

    存储大量的文件(每个文件 10Mb 左右)该选用哪种数据库?有哪些可选方案,优缺点是什么? 希望大家不吝赐教

    Supplement 1  ·  Sep 1, 2016
    从大家的回答中受益匪浅,看来还是应该创建文件系统来存储这些文件
    22 replies    2016-09-01 13:48:41 +08:00
    paulw54jrn
        1
    paulw54jrn  
       Aug 31, 2016
    如果用云的话就是存 S3(或对应的服务上), 然后 meta data 存数据库用于检索.

    自己搭的话可以 HDFS, 可以 NFS + RDBMS
    VeryEase
        2
    VeryEase  
       Aug 31, 2016
    二进制文件为什么要存数据库.... 如果真要这么做的话,可以考虑下 mongodb , 以前做过某款产品,开发版就是这么干的,后来放弃这种做法了。
    lhbc
        3
    lhbc  
       Aug 31, 2016 via Android
    身为程序员
    “大量”这种词就不应该说
    e8c47a0d
        4
    e8c47a0d  
       Aug 31, 2016
    为什么要存在数据库里……
    hanxiV2EX
        5
    hanxiV2EX  
       Aug 31, 2016 via iPhone
    存文件,数据库只存路径
    zhuangzhuang1988
        6
    zhuangzhuang1988  
       Aug 31, 2016
    @e8c47a0d 为什么不能存数据里面?!
    https://book.douban.com/subject/6800774/
    参见这个。。不过有好有坏。。。
    whatot
        7
    whatot  
       Aug 31, 2016
    在几乎所有情况下,都是应该减少数据库内部的数据量。
    你这样使用数据库完全就是在浪费数据库的能力。

    存文件还是用对象存储,元数据放数据库。
    htfy96
        8
    htfy96  
       Aug 31, 2016
    建议 GlusterFS 。 mongoDB 稳定性。。 https://news.ycombinator.com/item?id=9912842
    purrgil
        9
    purrgil  
       Aug 31, 2016
    什么叫大量?

    2T 硬盘就叫大数据?
    lcsoft
        10
    lcsoft  
       Aug 31, 2016
    很好奇,除了要索引文件内容做全文搜索,还有哪些原因需要把文件塞到数据库里?
    kingoldlucky
        11
    kingoldlucky  
       Aug 31, 2016
    对象存储 ~~ 文件和元数据分开放 现在大互联网公司都这么干 对于海量小文件也适用
    lianxiaoyi
        12
    lianxiaoyi  
       Aug 31, 2016 via Android
    这种东西毫不犹豫丢阿里云 oss 或者七牛啊!然后数据库装唯一标识!用数据库存储,你考虑过数据库带宽的感受没?
    tjxjj
        13
    tjxjj  
       Aug 31, 2016
    真和数据库压根没啥关系。数据库最多放个索引和元数据,核心还是你这些文件是否要考虑分库,分目录和带宽(如果经常要用的话,如果是图片还需要创建低分辨率的图片等等)
    Powered
        14
    Powered  
       Aug 31, 2016 via Android
    有目录的文件夹->自建分布式文件系统
    没有目录的单个文件->对象存储
    carmark
        15
    carmark  
       Aug 31, 2016
    msg7086
        16
    msg7086  
       Aug 31, 2016
    文件系统就是一个数据库。
    pubby
        17
    pubby  
       Aug 31, 2016 via Android
    @carmark 在用
    dsg001
        18
    dsg001  
       Sep 1, 2016
    几千万<100K 文件硬盘扛不住,压缩后扔到数据库
    jinxueliu
        19
    jinxueliu  
    OP
       Sep 1, 2016
    @lhbc @purrgil 可能我的表述有问题,重点是想解决文件分布式存储的问题,使得每个节点都能快速访问
    ooonme
        20
    ooonme  
       Sep 1, 2016 via iPhone
    @jinxueliu hdfs 太小的文件要做合并的
    lhbc
        21
    lhbc  
       Sep 1, 2016 via Android
    @jinxueliu 大量 是什么概念?
    十万级?百万级?千万级?亿级?
    每一个级别的技术差异是不一样的。
    没给具体的数量级,哪有什么方案可言。
    efurture
        22
    efurture  
       Sep 1, 2016
    文件系统,数据库存路径
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3325 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 66ms · UTC 11:31 · PVG 19:31 · LAX 04:31 · JFK 07:31
    ♥ Do have faith in what you're doing.