V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wunonglin
V2EX  ›  程序员

上传文件时,如何设计不会保存未引用的文件

  •  
  •   wunonglin · 2021-10-09 18:39:02 +08:00 · 1566 次点击
    这是一个创建于 1142 天前的主题,其中的信息可能已经有所发展或是发生改变。

    例如一个图床服务。

    1 、数据库使用了 file 和 image 两个表设计
    2 、系统接入了第三方对象存储
    3 、使用直传对象存储方式
    4 、入库储存的是对象存储的 key 值
    5 、我知道一些云是有回调服务器的功能,可以利用此功能将文件 key 写进 file 表
    

    在这种情况下,如果我上传了文件,但是我不提交到 image,那文件就会存在 file 里面,也就是微博图床的现状。

    当然实际情况肯定不只只有 image 使用了 file,还会有各种地方。

    我目前的做法是服务器中转来创建文件,让后创建 image 的同时创建 file 以此保证一致性

    func CreateXXX -> func CreateFile
    func CreateXXX -> func CreateFile
    

    另一个想法是在 file 表加 ack 机制然后做定时任务去删除

    所以在上传这种场景中,如何设计才能保证一致性而不会被滥用?

    7 条回复    2021-10-09 22:03:32 +08:00
    eason1874
        1
    eason1874  
       2021-10-09 19:43:00 +08:00
    1 、前端选择文件
    2 、点击上传,提交 ContentType 、ContentLength 、ContentMD5 、FileName 等到后端获取签名
    3 、后端在数据库添加记录存储文件信息,包括 ObjectKey,UploadStatus 为 0,返回 S3 签名直传链接
    4 、前端直传文件到 S3,完成后请求后端接口报告已上传完成
    5 、后端 head Object meta,确认已完成,将 UploadStatus 设置为 1

    签名参数的 ContentType 、ContentLength 、ContentMD5 、ObjectKey 等信息可以令 S3 校验,确保真实上传的内容就是签名的内容。

    剩下的怎么做,跟直接上传到服务器是一样的。比如你要的同时创建 image 和 file 记录,可以在报告上传完成的时候做。控制上传频率就在获取签名时检查。
    wunonglin
        2
    wunonglin  
    OP
       2021-10-09 20:01:46 +08:00
    @eason1874 #1

    如果我到了第四步传完到 s3 就停止了。那存在 s3 上面的文件怎么办,如何删除?要走定时任务什么的么?
    wunonglin
        3
    wunonglin  
    OP
       2021-10-09 20:03:04 +08:00
    @wunonglin #2

    虽然这样不会被外部引用,但是还是会在上面保留太多垃圾数据
    ch2
        4
    ch2  
       2021-10-09 20:05:04 +08:00
    @wunonglin #2 定期扫表简单粗暴但是好用
    wunonglin
        5
    wunonglin  
    OP
       2021-10-09 20:06:46 +08:00
    @ch2 #4 😆最终办法。就是想知道有没有什么优雅的做法
    eason1874
        6
    eason1874  
       2021-10-09 20:16:36 +08:00
    @wunonglin 留着其实也不会占用太多空间,任务式的,等用户下次上传新文前,询问怎么处理旧的上传记录。允许最多同时上传 3 个文件,那一个用户最多也就滞留 3 个文件。

    看需求吧,要清理,定时任务最有性价比,用 S3 事件会多很多请求。
    yin1999
        7
    yin1999  
       2021-10-09 22:03:32 +08:00
    可以试着配合 Lambda 函数使用,AWS 的 S3 是有 Lambda 的触发器的,那可以确定用户已完成文件上传,后面到底走一个怎么样的流程就看你自己了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2332 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 16:09 · PVG 00:09 · LAX 08:09 · JFK 11:09
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.