背景:项目 excel(使用 phpoffice/phpexcel": "1.8.*)导出功能,如果数据量大经常内存溢出。
解决方案:看到了一些性能对比决定选 Excelize 不选 PhpSpreadsheet,而且顺便可以熟悉一下 go 等方面的东西, 用 Excelize 做一个专门用于操作 excel 导入导出的服务,php 处理数据传递传过来。(go 不处理数据,避免两头改数据处理逻辑)
问题:怎么通信?想法是:
1,做成长连接,分批发送数据
2,其他方案 rpc,grpc,jsonrpc(这些只用过 jsonrpc)
各位大佬,有什么好的方案吗?另外我应该使用什么框架来简化工作(echo,iris,等?)
1
linoder 2020-12-11 10:48:24 +08:00 1
途啥? php 得 Excel 导出单独出来一个脚本 memory_limit 调大点不就行了?
|
2
zjsxwc 2020-12-11 10:58:26 +08:00
对于几 M 的小文件,php 服务端毫无压力。
对于当场导出大的 excel 文件,让客户端 js 来生成 excel 文件就行,服务端只负责返回 json 数据。 对于需要离线耗时获取数据的大 excel 文件,建议使用队列来处理生成 excel 文件。 |
3
askfilm 2020-12-11 11:00:01 +08:00 1
为了双鞋,准备整条流水线?
|
4
yekern 2020-12-11 11:00:42 +08:00 3
https://gitee.com/viest/php-ext-xlswriter
你值得拥有,导出甩 phpexcel 几条街 |
5
GM 2020-12-11 11:01:59 +08:00
这个得看你数据量到底多大了。通常情况下,php 的内存限制设置为只有百来 M 甚至几十 M,如果你数据量最多也就几百 M 或者 1G 左右的话,直接改内存限制最简单,还不会引入 bug 。
至于想熟悉 go,直接去熟悉即可,建议不要把两件事混在一起做。 |
6
ChoateYao 2020-12-11 11:55:50 +08:00 1
|
7
Lemeng 2020-12-11 12:08:46 +08:00
太麻烦,楼上大佬说的是
|
8
sadfQED2 2020-12-11 12:20:06 +08:00 via Android
就这么一个破需求,还需要引入这么大一堆技术栈?你处理这一大堆技术栈的时间远超你写代码时间了
|
9
ben1024 2020-12-11 12:33:05 +08:00
PHP 扩展 php-ext-xlswriter 的导出 Excel,性能很强,之前测试 15 的 MBP 导出 100 万行 30 列数据 4 秒
就是 4 楼的 |
10
whoisix 2020-12-11 12:55:50 +08:00 via Android
简单的东西复杂化可不是优秀程序员的做法。
|
11
ritaswc 2020-12-11 13:56:46 +08:00
PhpSpreadsheet 其实内置有减少内存的方案,文件缓存或者 redis,一看你就没读完文档
|
12
xiaomu8 2020-12-11 14:18:03 +08:00
想熟悉 Go 可以私下写这个功能,但不要应用于实际项目。
不然接手你项目的人肯定会骂人的 |
13
sunznx 2020-12-11 14:40:08 +08:00
数据量大会内存溢出用 go 就不会?
|
14
qq1340691923 2020-12-11 14:41:27 +08:00
好好写 php,php 是世界上最好的语言
|
15
bagheer 2020-12-11 15:09:32 +08:00
如果楼主真想自己动手的话,可以参考 hyperf 框架实现的 GoTask, 一个 swoole 的 sidecar, 不过不知道楼主对 swoole 生态感兴趣不.
|