php如何异步生成excel文件并保存到服务器

原创: 2016-08-04 09:22:25 2737浏览

先说说我目前的需求和困境吧：

1.导出订单这个功能相信大家都不陌生，数据量大，业务复杂。现在产品需要导出一个月的数据，大概2w条左右，查询接口调用的是java提供的api。
2.查询2000条数据该接口需要30+秒，而服务器的超时时间是30秒，因此超时在所难免。1w条数据每1000条一次，单个curl请求，耗时60-78秒，curl_multi请求，45.78-52秒。
3.此时并没有做完业务逻辑，用户的信息需要在返回的结果中根据uid在此查询数据库，某些字段还需要做判断，因此，需要等待rest结果并处理逻辑。
4.处理的数据结果，经过遍历之后组装到excel单元格，占用大量内存。

现在说说我自己的想法：

1.客户端发起“导出”动作，服务发送查询操作，并生成excel文件保存到服务器端。
2.在客户端发出动作之后，最好立即返回，不等待结果回馈客户，直接告诉客户，半个小时之后再去下载。
3.下载直接从服务器上拉去生成的excel文件。

我的困惑：

如何做到客户发起请求并立即返回，还要服务器做业务逻辑，处理查询，字段组装等过程？请各位大神帮我指点一二，谢谢你们！

补充一点：
原本想使用cron job的，但是东西越来越多，服务器并不是很宽裕，上面部署这很多服务，这些事自己内部使用的，效率不要求很高。

因为app端显示的很多东西都是定时任务，比如商品加精等，太多了，所以，目前不想使用cron job。而且在java代码中使用spring的task执行很多任务。

回复内容：

先说说我目前的需求和困境吧：

1.导出订单这个功能相信大家都不陌生，数据量大，业务复杂。现在产品需要导出一个月的数据，大概2w条左右，查询接口调用的是java提供的api。
2.查询2000条数据该接口需要30+秒，而服务器的超时时间是30秒，因此超时在所难免。1w条数据每1000条一次，单个curl请求，耗时60-78秒，curl_multi请求，45.78-52秒。
3.此时并没有做完业务逻辑，用户的信息需要在返回的结果中根据uid在此查询数据库，某些字段还需要做判断，因此，需要等待rest结果并处理逻辑。
4.处理的数据结果，经过遍历之后组装到excel单元格，占用大量内存。

现在说说我自己的想法：

1.客户端发起“导出”动作，服务发送查询操作，并生成excel文件保存到服务器端。
2.在客户端发出动作之后，最好立即返回，不等待结果回馈客户，直接告诉客户，半个小时之后再去下载。
3.下载直接从服务器上拉去生成的excel文件。

我的困惑：

如何做到客户发起请求并立即返回，还要服务器做业务逻辑，处理查询，字段组装等过程？请各位大神帮我指点一二，谢谢你们！

补充一点：
原本想使用cron job的，但是东西越来越多，服务器并不是很宽裕，上面部署这很多服务，这些事自己内部使用的，效率不要求很高。

因为app端显示的很多东西都是定时任务，比如商品加精等，太多了，所以，目前不想使用cron job。而且在java代码中使用spring的task执行很多任务。

2种，一种就是使用脚本去跑。还有一种就是接收到前端请求之后直接返回或是让它超时，php可以继续执行的显示设置脚本set_time_limit(0);，php-fpm的话可以fastcgi_finish_request()，返回之后继续执行，apache可以设置ignore_user_abort();

不过后面一种方式php-fpm的话会阻塞php接收请求，有可能导致正常用户无法访问网站，因为那个是随机分配的，如果nginx连接到那个长时间的进程的就阻塞了。
建议还是用php脚本的方式来执行，可以使用队列，也可以使用shell去调用php脚本来执行

可以通过队列导出
可以满足你的需求，下图为我的导出