记录一下以前做的后台excel格式导出统计信息的功能,也是最近同事问到了相关东西,一时之间竟忘了具体的细节,因此记录一下;
大家知道,excel导出数据的功能,后台几乎是必须功能,一般都是点击后,生成文件然后自动下载,
如果是数据量小的话,一下子便可请求完成,从而下载到本地;
但是,如果数据量特别大的时候,页面就必须一直在等待,直到写入excel成功,
这样便影响了后台使用者无法操作其他页面,为此,对excel导出做了以下功能优化:
生成excel文件的方法有很多,暂不一一记录,只是记录本次的方法;
这里用到了table的html格式,以及相应的excel的声明
(隐约记得其他的方法用office07打开的时候好像是乱码,后面尝试用csv格式文件,可还是乱码,所以用了table的形式)
文件的开头:
1$struserdata= <<<Eof23xmlns:x="urn:schemas-microsoft-com:office:excel"4xmlns="http://www.w3.org/TR/REC-html40">56PUBLIC"-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> 7 8 9 10 12 13 14文件的结尾:
1$struserdata= <<<Eof2当然,文件中间就是一些tr td 标签了。
场景:
用户点击 生成excel后,跳转到下载页面,程序在后台执行,用户可不必等待生成完成,可执行其他操作;
下载页面可看到文件生成的进度以及是否可下载状态
思路:
点击 生成excel,显示下载页面 ---> show_download方法
生成excel ---> create_excel 方法
show_download方法中调用 create_excel方法,而show_download 方法中,自己用了一下命令行执行程序的方式,
利用php命令行的方式,把参数传递给 create_excel方法
1 // $cmd = "/usr/bin/php /home/xxx/xxx.php " . $strjoin . " >/dev/null & "; 2 // $a=exec($cmd, $out, $returndata); 3 4 5 $command = "/usr/bin/php ".STATISTIC_EXPORT_SCRIPT_DIR."xxx.php " . "'" .$strjoin ."'". " " . $uid . " ". $action ." & "; 6 $process = proc_open($command, array(),$pipes); 7 $var = proc_get_status($process); 8 proc_close($process); 9 $pid = intval($var['pid'])+1;
而在create_excel方法中:
需填写以下代码:
1 set_time_limit(0); //取消脚本运行时间的超时上限 2 3 ignore_user_abort(TRUE); //后台运行,不受用户关闭浏览器的影响
调用相关的api得到数据:
1 $statistic = call_user_func(array('shellscript','get_result'),$url,$params); 2 if(!is_object($statistic) || !isset($statistic->data->items)){ 3 usleep(400000);//停止400毫秒 4 $statistic = call_user_func(array('shellscript','get_result'),$url,$params); 5 }
但是怎么显示相应的文件生成进度呢,怎么知道文件到底生成好了没有呢?
这里,我用到的方法是,在写入数据文件的时候data.xsl,每个数据文件都生成一个对应的文件进度文件,暂且称为flag_data.xsl;
思路:
查看文件的进度方法:
1publicfunctionexecscript_process(){2$this->load->library('smarty');3$file_arr_str=array();4$file_arr_process=array();5$file_arr_name=array();6$file_arr=array();7$refresh_flag= 'yes';8$uid=$_REQUEST['uid'];9$url_dir= STATISTIC_EXPORT_FILE_DIR.$uid.'/';//@todo10if(!is_dir($url_dir)){11@mkdir($url_dir,0777);12}13$files=scandir($url_dir);1415if(!empty($files)){16foreach($filesas$key=>$value) {17if($value!='.' &&$value!='..'){18if(substr($value, 0 , 5)=="flag_"){19$file_size=filesize($url_dir.$value);20if(!empty($file_size)){21$fhandle=fopen($url_dir.$value, 'rb+');22fseek($fhandle, -1,SEEK_END);23$fstr= '';24while(($c=fgetc($fhandle)) !==false) {25if($c== "\n" &&$fstr)break;26$fstr=$c.$fstr;27fseek($fhandle, -2,SEEK_CUR);28}29fclose($fhandle);30$fstr=trim($fstr);31$fstr_arr_str=explode(',',$fstr);32$file_arr_process[] = 100 *number_format($fstr_arr_str[0]/$fstr_arr_str[1],2).'%';33$file_arr_name[] =substr($value,5);34}35}36}37}3839foreach($file_arr_processas$key=>$value) {40if($value!= '100%'){41$refresh_flag= 'no';42break;43}44}45}4647$file_arr=array(48'process' =>$file_arr_process,49'name' =>$file_arr_name,50'refresh_flag' =>$refresh_flag51);52$file_arr_json= json_encode($file_arr);53echo$file_arr_json;54}View Code文件的下载就好说了,既然已经都生成成功,下载的方法如下:
1 public function execscript_download(){ 2 $filename = $_REQUEST['filename']; 3 $uid = $_REQUEST['uid']; 4 $file_dir = STATISTIC_EXPORT_FILE_DIR.$uid.'/'.$filename; 5 if (!file_exists($file_dir)){ 6 header("Content-type: text/html; charset=utf-8"); 7 echo "File not found!"; 8 exit; 9 } else { 10 ini_set("memory_limit","500M"); 11 header('Content-Description: File Transfer'); 12 header('Content-Type: application/octet-stream'); 13 header('Content-Disposition: attachment; filename='.basename($file_dir)); 14 header('Content-Transfer-Encoding: binary'); 15 header('Expires: ' . gmdate('D, d M Y H:i:s') . ' GMT'); 16 header('Cache-Control: must-revalidate,post-check=0, pre-check=0'); 17 header('Pragma: public'); 18 header('Content-Length: ' . filesize($file_dir)); 19 readfile($file_dir); 20 } 21 22 }
本地本来已经测试完毕,可上线后,却出现了奇怪的问题;
现象描述:
当在后台点击生成文件,跳转到下载页的时候,因为下载页是显示文件进度的页面,
竟然出现有时候有刚刚点击的文件进度,有时候没有,就感觉没有生成相应的文件一样;解决方法:
因为数据文件和进度文件都是生成在程序的某个文件夹file中,所以读取的时候都是读取的文件夹下的文件,从而判断显示进度;
后面才知道,由于后台程序有两台服务器,导致读取以及下载的时候找不到相应的文件夹,两个服务器相应的文件夹弄个共享目录就可以了
由于下载的文件多了,导致文件夹下的文件越来越多,而原来生成的文件是没有价值的,所以加了个定期删除文件的功能,只保留近七天的文件
当然可以用crontab,只不过我比较懒,是在点击生成文件的时候,判断了一下文件夹中的过期文件,从而删除
1 public function execscript_process_show(){ 2 $this->load->library('smarty'); 3 $uid = $_REQUEST['uid']; 4 $url_dir = STATISTIC_EXPORT_FILE_DIR.$uid .'/';//@todo 5 if(!is_dir($url_dir)){ 6 @mkdir($url_dir,0777); 7 } 8 $files = scandir($url_dir); 9 if(!empty($files)){ 10 foreach ($files as $key => $value) { 11 if($value!='.' && $value!='..'){ 12 foreach ($files as $key => $value) { 13 if($value!='.' && $value!='..'){ 14 if(substr($value, 0 , 5)!="flag_"){ 15 $filenamedate = substr($value, 0,10); 16 $today = date('Y-m-d',time()); 17 $filenamedate = date('Y-m-d',strtotime($filenamedate)+(STATISTIC_FILE_EXPIRE_DAY-1)*24*3600); 18 if($today>$filenamedate){//文件过期 19 @unlink($url_dir . $value); 20 @unlink($url_dir . 'flag_' . $value); 21 } 22 } 23 } 24 } 25 } 26 } 27 } 28 29 $this->smarty->assign('uid',$uid); 30 $this->smarty->display('interact/statistic/execscript.tpl'); 31 }
大文件的导出大体就是这个样子,欢迎大家吐槽,共同交流;
当时在用命令行执行方法的时候,也参考了一下相应的资料,记录一下;
http://blog.csdn.net/yysdsyl/article/details/4636457 http://www.codesky.net/article/201202/163385.html http://www.cnblogs.com/zdz8207/p/3765567.html http://blog.163.com/mojian20040228@126/blog/static/4112219320097300922992/ http://php.net/manual/en/features.commandline.php http://blog.csdn.net/yangjun07167/article/details/5603425 http://blog.csdn.net/yunsongice/article/details/5445448 http://www.cppblog.com/amazon/archive/2011/12/01/161281.aspx http://blog.51yip.com/tag/proc_open http://www.justwinit.cn/post/1418/ http://limboy.me/tech/2010/12/05/php-async.html