Lassen Sie uns darüber sprechen, wie man in PHP Millionen von Daten in CSV schreibt

Dieser Artikel vermittelt Ihnen relevantes Wissen über PHP+CSV. Er stellt vor allem vor, wie man Millionen von Daten über Skriptdateien in PHP schreibt.

Anforderungen:

Millionen Daten in CSV geschrieben.

Framework:

N Das alte Framework von vor vielen Jahren ist auf Baidu nicht zu finden, daher ist die Schreibmethode näher am Original

Analyse:

Die Datenmenge ist zu groß und der Browser kann nicht wird verwendet, um das Schreiben in den CSV-Download anzufordern, also schreibe ein Skript, das

Pseudocode aufruft:

//xxx - 根据自己项目替换
//调取脚本文件
exec(xxx);

//脚本文件
//设置执行时间和内存
set_time_limit(0);
ini_set('memory_limit', '128M');
//循环获取
$id = 0;
$data = 'xxx'.'\n';//表头
while(true){
    //SQL
    $list = xxx WHERE id > $id ORDER BY id ASC LIMIT 10000; //每次取1w防止数据库压力大,根据sql来，我这个有联表，
    if(empty($list)){
        break;
    }
    foreach($list as $row){
        $data .= '"' . $row['xxx'] . '",';
        $data .= "\n";
        $id = $row['id'];//更新最大id
    }
    //追加写入csv
    file_put_contents('xxx', mb_convert_encoding($data, 'gbk'),FILE_APPEND);
    unset($data);//基础不好不确定初始化能不能清内存就先unset了
    $data = '';//初始化
}

. Als ich zum ersten Mal mit dem Testen begann, hatte ich vor, file_put_contents nicht in die Schleife zu schreiben Wenn die Datenmenge groß ist, übersteigt der Speicher von $data eine Million, sodass Excel das Öffnen von mehr als 1048576 Zeilen nicht unterstützt , können Sie einen $all_count-Parameter hinzufügen, um die Gesamtzahl der aktuellen Abfragen zu zählen. Wenn sie eine Million überschreitet, fügen Sie neue Dateien hinzu.

Wenn es eine bessere Methode oder Codeoptimierung gibt, besprechen Sie diese bitte.

Empfohlenes Lernen: „PHP-Video-Tutorial“

Das obige ist der detaillierte Inhalt vonLassen Sie uns darüber sprechen, wie man in PHP Millionen von Daten in CSV schreibt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!