V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
HelloWorld556
V2EX  ›  Go 编程语言

大文件上传方案

  •  
  •   HelloWorld556 ·
    xx_xx_xx · 2023-07-17 17:47:59 +08:00 · 1577 次点击
    这是一个创建于 493 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我们是基础 cesiumjs 做的一个三维模型展示系统,现在有上传大文件的需求,想看看大家是怎么做的。

    有比较大的模型,4G 以上的。

    现在的做法是,由客户端切片上传, 当最后一个切片上传完成之后会开始合并文件。 合并完成之后插入数据库返回一个文件 ID 给客户端。

    合并的过程中客户端是一直在等待的,文件越大等的时间就越长。客户端出现请求超时,上传失败。

    我想的是改成上传之前先向服务器请求得到一个文件 ID ,后续的上传都带上这个 ID ,表示要存储在这个目录。

    想问一些各位关于大文件上传都是怎么做的呢,或者有什么现成的框架可以用的呢。

    10 条回复    2023-07-25 16:20:15 +08:00
    trzzzz
        1
    trzzzz  
       2023-07-17 17:58:51 +08:00   ❤️ 1
    可以参考 S3 的分片上传逻辑
    初始化分片,获取 uploadId
    上传分片序列
    合并分片( server 中不需要合并,只需要记录每个片的信息)

    读取的时候 merge 读就行,也可以提供 range 和 partNumber 读取
    rekulas
        2
    rekulas  
       2023-07-18 08:58:36 +08:00
    正常都是第二种,上传时生成分片 ID, 之后的分片都合并到指定文件上,最后上传完毕校验指纹通过认为成功
    临时文件设置过期清楚策略
    dayeye2006199
        3
    dayeye2006199  
       2023-07-18 09:19:14 +08:00
    你们是自己的文件存储方案吗?如果使用对象存储,s3, minio 都有分块上传的功能
    cyningxu
        4
    cyningxu  
       2023-07-18 09:32:14 +08:00
    分片是肯定的,上传后每次校验分片,但合并可以后续消费吧,甚至说不合并直接按分片顺序读写?
    Macrow
        5
    Macrow  
       2023-07-18 09:38:44 +08:00
    HelloWorld556
        6
    HelloWorld556  
    OP
       2023-07-18 10:16:55 +08:00
    @dayeye2006199 我们自己写的服务,分片上传没问题,就是合并的时间比较长,会超时,minio 好像也是同步等服务器合并完成把。
    @rekula 主要问题是客户端传完切片等到文件合并完成这段时间怎么处理
    @cyningxu 传上来的模型有的是已经转换后 web 可以直接读的,还有的是模型源文件,需要服务器处理成 web 端能用的。所以还是要合并之后给转换工具用
    trzzzz
        7
    trzzzz  
       2023-07-18 11:24:34 +08:00
    @HelloWorld556 能在转换工具里修改读取实现的话,最好不要合并,并发小 block 读性能远大于读一整个
    HelloWorld556
        8
    HelloWorld556  
    OP
       2023-07-18 11:36:33 +08:00
    @trzzzz #7 跨部门提需求还是挺麻烦的。
    lotusgrm
        9
    lotusgrm  
       2023-07-25 15:59:49 +08:00   ❤️ 1
    为了解决合并过程中 client 一直等待可能会导致超时的问题,一般就是使用异步的方式,比如:
    1 、client 请求上传接口时,服务器生成一个唯一的文件 ID,并将这个 ID 返回给 client
    2 、client 将文件切片上传到服务器,并且将唯一的文件 ID 作为参数
    3 、服务器接收到每个切片之后,将其暂时存储在指定的位置,并且记录切片的索引和文件 ID
    4 、当所有的切片上传完成之后,服务器通过一个后台 job 处理切片的合并,而不是让 client 一直等待
    5 、后台 job 从指定的存储位置获取所有切片,按照索引顺序合并成一个完整的文件
    6 、合并完成之后,再把合并之后的文件保存到指定的位置,然后更新数据库中的文件状态
    7 、额外提供一个查询接口,client 可以轮询这个接口检查文件是否合并完成

    之前我通过这种方式处理过,可以作为参考看看
    HelloWorld556
        10
    HelloWorld556  
    OP
       2023-07-25 16:20:15 +08:00
    @lotusgrm 我现在用的方法是:
    收到第一个切片的时候会创建一个空的文件,然后根据收到切片的索引插入到文件指定的位置,这样就不需要合并了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1011 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 22:03 · PVG 06:03 · LAX 14:03 · JFK 17:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.