PHP +mysql 如何执行一个长时间的导出任务？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 2609 天前的主题，其中的信息可能已经有所发展或是发生改变。

一个资料筛选和导出任务，涉及多个表，每个表有 10-30 个字段，很多字段会被定制比如省份和城市，可以让用户选择哪个省和哪个城市，如果一次需要导出个十万条，就要执行十万次循环，每次循环执行几十次筛选条件，cpu，
内存，时间什么的都是压力。

怎么写可以实现？

导出

字段

筛选

执行

14 条回复 • 2018-12-01 18:44:44 +08:00

glacer

2018 年 11 月 30 日

这个应该是数仓的活

ferock

PRO

2018 年 11 月 30 日 via iPhone

命令行

orqzsf1

2018 年 11 月 30 日

缓存？

aloyuu

2018 年 11 月 30 日

最致命的是 PHP 有超时......

teg1c

2018 年 11 月 30 日

异步队列处理吧。

oneonesv

2018 年 11 月 30 日

php-cli 异步处理

pinews

2018 年 11 月 30 日

确定不是黑？

changepll

2018 年 11 月 30 日

@pinews 你让我笑出声

pinews

2018 年 11 月 30 日

@changepll
@aloyuu
@oneonesv
@ferock 长时间执行可以考虑 set_time_limit(0)，然而这和 php 没关系吧，具体在说什么不知道，若确实程序复杂，可以生成中间表，分批完成。

947211232

2018 年 11 月 30 日

方案一：死数据一次写入缓存就够了，往后直接读取缓存

947211232

2018 年 11 月 30 日

方案二：死数据写配置文件 json 格式什么都好，能读出来就可以

947211232

2018 年 11 月 30 日

方案三：影响 php 性能的尽量找合适的工具、方案，又不是上学时候老师规定只能 php+mysql

gujinxin

2018 年 12 月 1 日 via Android

异步队列吧，好了之后把文档存在目录上，给前端推消息，前端点击下载

DylanChou

2018 年 12 月 1 日

存储过程？