这是一个创建于 481 天前的主题，其中的信息可能已经有所发展或是发生改变。
我们是基础 cesiumjs 做的一个三维模型展示系统，现在有上传大文件的需求，想看看大家是怎么做的。
有比较大的模型，4G 以上的。
现在的做法是，由客户端切片上传， 当最后一个切片上传完成之后会开始合并文件。 合并完成之后插入数据库返回一个文件 ID 给客户端。
合并的过程中客户端是一直在等待的，文件越大等的时间就越长。客户端出现请求超时，上传失败。
我想的是改成上传之前先向服务器请求得到一个文件 ID ，后续的上传都带上这个 ID ，表示要存储在这个目录。
想问一些各位关于大文件上传都是怎么做的呢，或者有什么现成的框架可以用的呢。
 |
1
trzzzz 2023-07-17 17:58:51 +08:00  1
可以参考 S3 的分片上传逻辑
初始化分片，获取 uploadId 上传分片序列 合并分片（ server 中不需要合并，只需要记录每个片的信息） 读取的时候 merge 读就行，也可以提供 range 和 partNumber 读取 |
 |
2
rekulas 2023-07-18 08:58:36 +08:00
正常都是第二种,上传时生成分片 ID, 之后的分片都合并到指定文件上,最后上传完毕校验指纹通过认为成功
临时文件设置过期清楚策略 |
 |
3
dayeye2006199 2023-07-18 09:19:14 +08:00
你们是自己的文件存储方案吗？如果使用对象存储，s3, minio 都有分块上传的功能
|
 |
4
cyningxu 2023-07-18 09:32:14 +08:00
分片是肯定的，上传后每次校验分片，但合并可以后续消费吧，甚至说不合并直接按分片顺序读写？
|
 |
5
Macrow 2023-07-18 09:38:44 +08:00
|
 |
6
HelloWorld556 OP @dayeye2006199 我们自己写的服务，分片上传没问题，就是合并的时间比较长，会超时，minio 好像也是同步等服务器合并完成把。
@rekula 主要问题是客户端传完切片等到文件合并完成这段时间怎么处理 @cyningxu 传上来的模型有的是已经转换后 web 可以直接读的，还有的是模型源文件，需要服务器处理成 web 端能用的。所以还是要合并之后给转换工具用 |
|
7
trzzzz 2023-07-18 11:24:34 +08:00
@HelloWorld556 能在转换工具里修改读取实现的话，最好不要合并，并发小 block 读性能远大于读一整个
|
|
8
HelloWorld556 OP @trzzzz #7 跨部门提需求还是挺麻烦的。
|
 |
9
lotusgrm 2023-07-25 15:59:49 +08:00 1
为了解决合并过程中 client 一直等待可能会导致超时的问题，一般就是使用异步的方式，比如：
1 、client 请求上传接口时，服务器生成一个唯一的文件 ID,并将这个 ID 返回给 client 2 、client 将文件切片上传到服务器，并且将唯一的文件 ID 作为参数 3 、服务器接收到每个切片之后，将其暂时存储在指定的位置，并且记录切片的索引和文件 ID 4 、当所有的切片上传完成之后，服务器通过一个后台 job 处理切片的合并，而不是让 client 一直等待 5 、后台 job 从指定的存储位置获取所有切片，按照索引顺序合并成一个完整的文件 6 、合并完成之后，再把合并之后的文件保存到指定的位置，然后更新数据库中的文件状态 7 、额外提供一个查询接口，client 可以轮询这个接口检查文件是否合并完成 之前我通过这种方式处理过，可以作为参考看看 |
|
10
HelloWorld556 OP @lotusgrm 我现在用的方法是:
收到第一个切片的时候会创建一个空的文件，然后根据收到切片的索引插入到文件指定的位置，这样就不需要合并了 |
Select Language