/** * @function getSplitCache 对excelId基础数据进行分片缓存 * @param type $excelId excel文件id tax_excel的id * @param type $beforeAndAfterInsertid details_excel 插入前后的id * @return 无 统一excel的缓存文件标准为： EXCEL_ID_NUM */ public function getSplitCache($excelId, $beforeAndAfterInsertid){ processTip( '100%', 'Excel数据分片开始.....................'); $where['id'] = array('gt', $beforeAndAfterInsertid['beforeId']); $where['excel_id'] = array('eq', $excelId); //是否可能存在两个表同时插入情况，如果无可省略此项 $allExcelData = $this->modelDetailsExcel->where($where)->group('nsrsbh,id')->select(); $totalNum = count($allExcelData); $this->_setAllRow($totalNum); // $interval = ceil( ($beforeAndAfterInsertid[1]-$beforeAndAfterInsertid[0])/$this->excelDataCacheNum);//多个人同时出现操作插入文件是可能错误 $interval = ceil($totalNum/$this->excelDataCacheNum); for($i = 0; $i< $this->excelDataCacheNum; $i++ ){ $excelData[$i] = array_slice($allExcelData, $i*$interval, $interval); } unset($allExcelData); //1一个在开头一个在结尾利用时间差可以不再细分 //2必须分在一起以下为分在一起的 $i = 0; for($i; $i< $this->excelDataCacheNum-1; $i++ ){ if($excelData[$i][$interval-1]['nsrsbh'] === $excelData[$i+1][0]['nsrsbh']){ $j = 0; while( $excelData[$i][$interval-1]['nsrsbh'] === $excelData[$i+1][$j]['nsrsbh']){ $excelData[$i][] = $excelData[$i+1][$j++]; P($j); } array_splice($excelData[$i+1], 0, $j); } //输出前台展示进度 processTip( ($i/$this->excelDataCacheNum*100), 'Excel数据分片'.$i.'.....................'); //Thinkphp的F缓存方法 指定位置和名称 F('Excel_'.$excelId.'/'.$i , $excelData[$i]); } F('Excel_'.$excelId.'/'. $i , $excelData[$i]); processTip( '100%', 'Excel数据分片结束.....................'); return $this->excelDataCacheNum; }

基本原理是 将数据库数据按照nsrsbh 和 id排序 读取出来，然后将数据按照分片数据 分割指定数目的文件（用于前台ajax请求，模拟多线程操作，js发送请求后端接收后处理传过来的数据分片的文件name，然后处理改文件内的数据）
系统环境 apche php 分配的memoryliimit win（win10 64bit 4G内存）为2g linux（ubuntu14.04 64位 8g内存）为4g
经过测试当数据量在3500条时分片1000正常执行。
当数据量在11770条时，linux下和win下开始出现这个问题
到978片缓存生成时就进行不下去，php程序自动跳出 效果如下 然后进程就退出了。

当分片为500的时候出现到488 就会卡 然后到了过个2分钟左右才会输出489 然后没有然后了 进程跳出了