Recommended Services
› Amazon Web Services
› LeanCloud
› New Relic
› ClearDB
naoh1000
V2EX  ›  云计算

如何高效地冷存储大量图片?

  •  1
     
  •   naoh1000 · Oct 25, 2020 · 11421 views
    This topic created in 2201 days ago, the information mentioned may be changed or developed.

    我们公司的 app 活跃用户大约有 800 万。最近产品经理要求做一个实名认证功能,要求上传身份证照片,审核完后基本没人看了,请问这些数据应该存数据库里还是作为文件单独存储?如果存数据库会不会导致数据库很大,大量小图片作为文件存储会不会不方便备份?虽然这不是我一个前端该管的事,但我正在打算转后端,想了解一下大佬们是怎么解决这问题的。

    75 replies  •  2020-10-28 08:06:32 +08:00
    fxXkcCpEveryday
    fxXkcCpEveryday
    Oct 25, 2020 via iPhone
    1
    使用對象存儲
    opengps
    opengps
    Oct 25, 2020 via Android
    2
    对象存储有冷存储的方案,比实时读写要便宜,每次取用得先解冻
    tanghongkai
    tanghongkai
    Oct 25, 2020❤️36
    3
    身份证照片为啥要存,实名完等着卖黑产吗?
    opengps
    opengps
    Oct 25, 2020 via Android❤️2
    4
    @tanghongkai 任何一家服务商都会存的,不然出问题连线索都提供不了,冷存储是比较安全的做法,不像某些站点的做法(可遍历爬取)
    wangyzj
    wangyzj
    Oct 25, 2020❤️4
    5
    实名认证用专门的服务商不就行了,不用上传身份证
    shakaraka
    shakaraka
    Oct 25, 2020
    6
    oss 归档储存
    qwerthhusn
    qwerthhusn
    Oct 25, 2020
    7
    存到 OBS,建议单独建一个 Bucket,然后这个 Bucket 严格控制读写权限
    JensenQian
    JensenQian
    Oct 25, 2020❤️1
    8
    实名认证要不直接走支付宝的,我只是提供一个建议 https://opendocs.alipay.com/mini/introduce/alipay-verfify
    Mitt
    Mitt
    Oct 25, 2020❤️2
    9
    通常就是接入云服务商的存储系统,比如对象存储,自建的话就是单独的一套存储系统比如 TFS 、GFS (当然只是举个例子,实际还是要各方面考量),至于备份等等这些事情其实就属于运维管辖了,也都是有冷热备份方案的,然后合理性上的话,实名认证功能是不会自己做的,人工审核成本大,还要考虑伪造身份证等因素,所以最好的方法就是接入第三方认证机构,比如支付宝、微信或者其他支持活体认证的第三方,有个好处就是有他们的实名技术背书,即便要求调档也只需要提供该用户的真实姓名、身份证号就足够了,如果企业自己运作实名审核的话就要考虑万一出现安全事故,大量身份证照片泄露的后果是非常严重的(当然这就不是一个开发的考虑范畴了)。
    ericbize
    ericbize
    Oct 25, 2020 via iPhone
    10
    云的 oss, 冷数据不贵
    swulling
    swulling
    Oct 25, 2020 via iPhone❤️1
    11
    @opengps 保留身份证号和姓名就已经足够了,保存身份证图片有什么意义?

    实名的意义不就是出事了把身份证号给 jc 么
    Jerami
    Jerami
    Oct 25, 2020 via Android❤️11
    12
    好小子实名认证说干就干,我都以为是连到公安局的网络最验证,自己没有资格审核用户的数据,没想到居然如此随便!
    loliordie
    loliordie
    Oct 25, 2020 via Android
    13
    没人吐槽 800 万用户就算全部上传也就 8 个 T 的数据么 这个数据量实在没啥好说的 选个便宜的存储丢着就行了
    loliordie
    loliordie
    Oct 25, 2020 via Android❤️3
    14
    @Mitt 同意 如果在国外擅自保存用户证件信息怕是不知道死字怎么写
    threeEggs123
    threeEggs123
    Oct 25, 2020 via Android
    15
    aws s3 glacier 完美解决
    nooper
    nooper
    Oct 25, 2020❤️5
    16
    这种数据泄露,或者被交易,你们是哪家公司?我对避免用你们的 app
    ruri
    ruri
    Oct 25, 2020 via Android❤️1
    17
    活跃 800w ?想知道是哪个公司,我避个雷?
    fkmc
    fkmc
    Oct 25, 2020 via iPhone
    18
    离职后给个提示
    omL72EEc
    omL72EEc
    Oct 25, 2020
    19
    可以随便存的么?也太恐怖了,怪不得搞身份这么便宜
    lpts007
    lpts007
    Oct 25, 2020 via Android❤️5
    20
    https://www.v2ex.com/t/712465

    用户也是倒了血霉了。
    lpts007
    lpts007
    Oct 25, 2020 via Android
    21
    不过也理解,都是打工人。
    OldActorsSmile
    OldActorsSmile
    Oct 25, 2020
    22
    调用百度网盘 api,存储到百度网盘,免费。我的图床( https://imgbed.cn )连续 1 年没人访问的也会冷存储
    naoh1000
    naoh1000
    OP
    Oct 26, 2020
    23
    @tanghongkai
    @wangyzj
    @nooper
    @ruri 我工作过的几家还算大的公司都是随便存的...


    @lpts007 麻烦读一下题目,这块不归我管,只是想让大家分享一下好的方法。
    yrj
    yrj
    Oct 26, 2020 via iPad
    24
    人家 800 万活跃用户,各位大佬就不要推荐网盘之类的奇淫技巧了,直接 oss 归档存储,记得加密。
    laike9m
    laike9m
    Oct 26, 2020 via Android❤️17
    25
    所以说尽可能避免国产 app,这话绝对不错
    Perry
    Perry
    Oct 26, 2020 via iPhone❤️3
    26
    做这种东西在国外可以被告到破产
    raaaaaar
    raaaaaar
    Oct 26, 2020 via Android
    27
    活跃用户好像要去重来着,一个产品这么多用户吗?
    yqm1024
    yqm1024
    Oct 26, 2020
    28
    实名吗?文件存储有点那个了吧
    kimi0
    kimi0
    Oct 26, 2020 via iPhone
    29
    如上所说,这种东西根本就不该存。
    delectate
    delectate
    Oct 26, 2020❤️2
    30
    都是打工人,何必为难楼主?骂也要骂这个奇葩的时代。

    阿里云 oss 或者腾讯云的低频数据存储就行了。
    huihuilang
    huihuilang
    Oct 26, 2020 via Android
    31
    哪个公司的?这种存身份证的辣鸡公司准备举报一波
    katana97
    katana97
    Oct 26, 2020
    32
    酷安也是这样,开发者手持身份证的图片认证完了不删也就算了,还直接在开发者后台里展示出来,前几天偶然看到吓的我把开发者认证都取消了
    YLGG
    YLGG
    Oct 26, 2020
    33
    为何这种收集用户隐私的行为在我天朝这么肆无忌惮呢?
    Jerami
    Jerami
    Oct 26, 2020 via Android
    34
    @YLGG 因为我们的法律落后于当前科技,更何况中国文化自古以来人与人之间距离不是特别明显,也不特别看重隐私,所以推广实名制人脸识别几乎没有遭到反对,相反,你要是重视还会被说中国哪有什么隐私,什么身正不怕影子斜你有问题?甚至被扣上崇洋媚外的帽子。
    fengchang
    fengchang
    Oct 26, 2020
    35
    为什么提供线索要身份证照片,因为警察拿身份证号查不到?
    sunmoon1983
    sunmoon1983
    Oct 26, 2020
    36
    @OldActorsSmile 百度网盘有 api 吗?
    linvaux
    linvaux
    Oct 26, 2020 via iPhone
    37
    麻烦说一下是哪个 app,我好避雷🌚,存身份证照片,怕是别有用心
    polymerdg
    polymerdg
    Oct 26, 2020
    39
    实名认证不是 连 API 验证吗 为啥还好保留 身份证
    黑产?
    sogwsc
    sogwsc
    Oct 26, 2020
    40
    @Jerami 不重视隐私 却重视实名 现在是个平台都要绑手机+实名认证 真是奇葩
    qinyusen
    qinyusen
    Oct 26, 2020
    41
    序列化之后对象存储, 有点儿像标注数据的原始数据或者是脏数据,随便儿用个 HDFS,然后进行块备份就好。
    因为搬运和存储是整块数据,copy 起来速度快, 然后直接切片存到冷备份对应机架,然后对应机架只能特定 IP 和端口访问,冷备份就是 copy 完,拔硬盘就完了,当做热备份也行,做好数仓和后端的割裂就行了,我一般做法很土,就是对后端只有写接口,没有读和删改接口。改请人工到另一个内网位置提交修改就好,然后人工审核后 prove 进去(大规模的,就直接敲黑板找老板说行为非法)。
    然后如果需要查询,就直接再后一级做一次脱敏, 身份证后 x 位直接抹掉(简单的 opencv+打码),头像打码, 地址打码,打码程度视脱敏规模。
    Kagari
    Kagari
    Oct 26, 2020 via Android
    42
    你们真就相信其他 app 没有存?
    Jerami
    Jerami
    Oct 26, 2020 via Android
    43
    @sogwsc 因为不重视隐私所以实名制才能快速推广,没有收到民众抵制(况且也不敢抵制,毕竟都清楚根本目的是什么)
    efaun
    efaun
    Oct 26, 2020
    44
    @sogwsc #40 老大哥很注重你的“隐私”的,所以才会实名
    huayumo
    huayumo
    Oct 26, 2020
    45
    现在都是走支付宝的实名接口,
    EZG997
    EZG997
    Oct 26, 2020❤️1
    46
    就目前国内互联网行业的状况,实名制不知道到底方便了谁,隐私就是这么泄露的。
    Stain5
    Stain5
    Oct 26, 2020
    47
    直接打印出来好像很可行
    800w 条信息 一张纸打印 20 条 每分钟打印 200 张
    大约 30 个小时就完工了

    安全性 
    可靠性 
    wangyzj
    wangyzj
    Oct 26, 2020
    48
    @naoh1000 #23 一定要存的话就是 oss 这类的对象存储就可以了,本地就是用 ceph 或者 hdfs 之类的把
    eason1874
    eason1874
    Oct 26, 2020❤️1
    49
    先建议产品经理别存储。

    如果存储,不用问都知道有一些不可告人的目的。那就要为自己负责,现在有法律法规对个人信息的存储进行规定,也推出了一些标准,建议去了解,免得将来出事了自己也被连累。

    从技术操作上说,比较简单粗暴的办法是:每个文件内容都用随机密钥加密存到一个文件名为编号的文本文件,归档存储,然后把编号、原文件属性信息、随机密钥和用户 ID 通过非对称公钥加密,存到数据库。

    这样只要执行过程不泄露,就算代码、公钥、数据库字段和文件都泄露了,也解密不了内容,保护好私钥安全就行。
    futandrew
    futandrew
    Oct 26, 2020 via iPhone
    50
    @Perry emmm 寻思着国外个人信息不是基本全公开吗?网上类似功能一找一堆,充钱即可解锁基本所有信息
    PhpBestRubbish
    PhpBestRubbish
    Oct 26, 2020❤️1
    51
    实名认证不是用第三方 API 吗?为啥你们要存身份证照片?
    PhpBestRubbish
    PhpBestRubbish
    Oct 26, 2020
    52
    @Kagari 我们的 App 就没有存身份证照片
    weizhen199
    weizhen199
    Oct 26, 2020
    53
    @futandrew 我咋记得只有前科犯会被公开
    mjjfl
    mjjfl
    Oct 26, 2020
    54
    @naoh1000 腾讯云对象存储有归档存储。归档存储提供了最低的存储单价,但读取数据的时候需要较长的解冻时间,因而适合需要长期保存数据的业务场景。可联系我打折,V:am9veXVuY29t
    kaopuyunluzh
    kaopuyunluzh
    Oct 26, 2020
    55
    腾讯云新政策 @
    1 、累计预付费订单金额大于等于 6600 元且月均预付费订单分摊金额累计大于等于 550 元,可赠送元 5000 代金券
    2 、累计预付费订单金额大于等于 38800 元且月均预付费订单分摊金额累计大于等于 3300 元,可赠送 2 万元代金券
    futandrew
    futandrew
    Oct 26, 2020 via iPhone
    56
    @weizhen199 国内是这样的,还有失信人员。国外人基本全透明。包括名字,亲属关系,手机号,家庭住址等常见的隐私信息。常见的有 anywho, 411 等。
    我记得还有那种直接定位的,就是你输入名字然后直接展示距离你比如 300 公里里面的所有叫这个名字的位置。
    简单点的可看影视作品《网络迷踪》了解更多(
    shifttacn
    shifttacn
    Oct 26, 2020
    57
    有资质么,就要求实名认证
    IDAEngine
    IDAEngine
    Oct 26, 2020 via iPhone
    58
    用磁带存了,几百年都在
    idblife
    idblife
    Oct 26, 2020
    59
    s3
    imherer
    imherer
    Oct 26, 2020
    60
    s3 +1
    easymbol
    easymbol
    Oct 26, 2020
    61
    直接使用第三方的支付认证接口,自己存储风险太高
    usdc
    usdc
    Oct 26, 2020
    62
    @linvaux #37 先说你上传身份中到过哪
    isnullstring
    isnullstring
    Oct 26, 2020
    63
    800w 用户 ,就算最终只有 10W 人上传身份证,转手卖出去,也不少钱喔
    DoctorCat
    DoctorCat
    Oct 26, 2020
    64
    哎,说个题外话,这种非 PCI-DSS 认证过的服务真的是不敢用了。
    正题:国际案例来看亚马逊 AWS S3 是可以的。你们存储要考虑使用符合安全等级的产品和服务商!!! 不然泄漏或者被查技术负责人要抓去爆菊的。
    code2019
    code2019
    Oct 26, 2020
    65
    华为云 OBS 对象存储
    alect
    alect
    Oct 26, 2020
    66
    请告诉我到底是哪个 APP,我要避免入坑。
    reus
    reus
    Oct 26, 2020 via Android
    67
    泄露了要坐牢的!找第三方,别作死
    reus
    reus
    Oct 26, 2020 via Android
    68
    https://www.secrss.com/articles/26427 个人信息保护法在起草,估计施行不远。现在不早做准备?
    yolee599
    yolee599
    Oct 27, 2020 via Android
    69
    想不到这种敏感信息处理这么随便
    madpecker009
    madpecker009
    Oct 27, 2020
    70
    @tanghongkai 来自灵魂的拷问
    ryanlid
    ryanlid
    Oct 27, 2020
    71
    我敢打堵一块钱,绝大部分要求上传身份证、手持身份证的网站、APP,证件都没有删除

    支付宝、微信...的各种申请也没有
    anyforever
    anyforever
    Oct 27, 2020
    72
    要求手机号的就忍了,要求实名认证的,还是不用为好
    myqoo
    myqoo
    Oct 27, 2020
    73
    加密后存储到免费空间上 - -
    Oysmart
    Oysmart
    Oct 27, 2020
    74
    法律多熟读,能使用第三方就使用第三方吧,这叫转移风险,如果出现安全问题,老板估计就得进去喝茶了。
    steptodream
    steptodream
    Oct 28, 2020
    75
    所以说一般的 APP 除非不是 100%必须 真的是不要上传证件 所有人和公司都一样 第一原则都是方便自己
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3292 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 215ms · UTC 10:19 · PVG 18:19 · LAX 02:19 · JFK 05:19
    ♥ Do have faith in what you're doing.