这是一个创建于 2723 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前结构是前端把文件上传至 node 后端，然后后端上传到 S3. 目前前端后端都做了 validation. 但是如果直接通过 api endpoint 上传，后端会把所有东西先 load 到内存后才能做 validation，通过验证之后上传 S3. 现在有两个问题
1. 如果用户使用 api endpoint 上传，跳过前端验证，后端无法在上传完毕之前知道文件大小。如何在刚开始上传的时候就检测文件大小并且阻止用户上传大文件？
2. 目前如果用户上传文件失败或者文件比较大，占用内存过多，服务器容易直接爆炸...
*不能直接从前端直接上传，前端只能消化内部 APIs，不能直接连 S3.
求解决方法。
1. 如果用户使用 api endpoint 上传，跳过前端验证，后端无法在上传完毕之前知道文件大小。如何在刚开始上传的时候就检测文件大小并且阻止用户上传大文件？
2. 目前如果用户上传文件失败或者文件比较大，占用内存过多，服务器容易直接爆炸...
*不能直接从前端直接上传，前端只能消化内部 APIs，不能直接连 S3.
求解决方法。
 |
1
ponyfk 2017-05-28 13:38:44 +08:00
按固定字节分割文件，按照分割后的子文件做 validation。validation(f1, f2, f3, ...) = validation(f)
|
 |
2
jiangzhuo 2017-05-28 14:26:40 +08:00
看你的 validation 情况了，我们每天有很多 10G-50G 的文件也要上传到 s3，但是我们都是一行行验证 使用 stream 读入输入数据 接了一个 zlib.createGunzip() 接一个 readlinestream 然后在 readline 的 line 事件验证 最后 stream 到 s3
楼主可以参考下 |
 |
3
klesh 2017-05-28 19:12:12 +08:00 via Android
文件大小限制可以通过 content-length 解决, 浏览器会带有这个 header 的。超限直接抛错就行
|
|
4
klesh 2017-05-28 19:12:55 +08:00 via Android
至于 validation , 是什么目的的 validation? signature ?
|
 |
5
springmarker 2017-05-28 19:21:48 +08:00
一直很纳闷为什么只有 nodejs 的节点有这种主题色
|
Select Language