php中导出大量数据的实现方法-tutorial php-php.cn

php中导出大量数据的实现方法

不言

Lepaskan： 2023-04-03 09:28:01

asal

8207 orang telah melayarinya

在PHP开发的过程中有时候会有数据需要导出，可以利用各种框架中的一些包来直接获取数据然后丢入对应的处理方法就行了，但是当遇到大量的数据需要导出的时候，我们就需要用其他的方法来实现了。

一般处理大数据有如下几种解决办法：通过添加或者修改事件触发脚本，生成数据；定时任务执行脚本生成数据；直接使用phpexcel导出大量数据；采用fputcsv实时数据流方式写入。用一张图表示如下：

QQ截图20180719163254.png

这里主要记录下使用fputcsv方式导出数据。

public function exportData()
    {   
        set_time_limit(0);
        ini_set(&#39;memory_limit&#39;, &#39;1024M&#39;);        
        $columns = [            &#39;列名1&#39;, &#39;列名2&#39;, &#39;列名3&#39;      //需要几列，定义好列名
        ];        //设置好告诉浏览器要下载excel文件的headers
        header(&#39;Content-Description: File Transfer&#39;);
        header(&#39;Content-Type: application/vnd.ms-excel&#39;);
        header(&#39;Content-Disposition: attachment; filename="导出数据-&#39;.date(&#39;Y-m-d&#39;, time()).&#39;.csv"&#39;);
        header(&#39;Expires: 0&#39;);
        header(&#39;Cache-Control: must-revalidate&#39;);
        header(&#39;Pragma: public&#39;);        $fp = fopen(&#39;php://output&#39;, &#39;a&#39;);//打开output流
        mb_convert_variables(&#39;GBK&#39;, &#39;UTF-8&#39;, $columns);
        fputcsv($fp, $columns);//将数据格式化为CSV格式并写入到output流中

        //添加查询条件，获取需要的数据
        $query = Model::class()->where();

        //获取总数，分页循环处理
        $accessNum = $query->count();
        $perSize = 1000;
        $pages   = ceil($accessNum / $perSize);        
        for($i = 1; $i <= $pages; $i++) {

            $db_data = $query->limit($perSize)->offset(($i-1)*$perSize)->get();            
            foreach($db_data as $key => $value) {                
            $rowData = [];                //获取每列数据，转换处理成需要导出的数据
                //需要格式转换，否则会乱码
                mb_convert_variables(&#39;GBK&#39;, &#39;UTF-8&#39;, $rowData);
                fputcsv($fp, $rowData);
            }            //释放变量的内存
            unset($db_data);            //刷新输出缓冲到浏览器
            ob_flush();            //必须同时使用 ob_flush() 和flush() 函数来刷新输出缓冲。
            flush();
        }

        fclose($fp);        
        exit();
    }

Salin selepas log masuk

这样会一边生成，一边写入下载文件，提高处理速度。
之前使用的包处理，生成一个25M的数据，要20分钟。这种方式处理需要1分多钟（也和实际处理的环境有关）。