PHP_PHP チュートリアルで大量のデータをループするときのメモリ枯渇の問題の解決策

PHPが大量のデータをループするときのメモリ枯渇の問題の解決策

最近、PHP プログラムの開発中に次のエラーが発生しました:

PHP 致命的エラー: 許可されたメモリ サイズ 268 435 456 バイトが使い果たされました

エラー メッセージは、最大許容メモリが使い果たされたことを示しています。最初はこのようなエラーが発生したことに驚きましたが、よく考えてみると、私が開発しているプログラムでは foreach ループ ステートメントを使用して、40,000 レコードのデータを持つテーブル内の特定の特性を持つテーブル全体を検索するため、驚くべきことではありません。つまり一度に40,000件のデータを取り出し、毎日のデータを一つ一つチェックしなければなりません。 40,000 個のデータがすべてメモリに読み込まれていると考えられます。メモリがバーストしないのは不思議です。

結局、何年もプログラミングをしてきたので、PHP が提供する API はデータを一度にロードせず、ストリーミング メディアのように使用して失われる可能性があり、データが蓄積されないことを漠然と覚えています。想い出。簡単に検索したところ、公式Webサイトに正しい使用方法が見つかりました。

この問題は、PHP の公式 Web サイトでは「バッファー付きクエリ」と「バッファーなしクエリ」と呼ばれています。 PHP のデフォルトのクエリ モードはバッファ モードです。つまり、クエリ データの結果は、PHP プログラムによる処理のために一度にメモリに抽出されます。これにより、PHP プログラムに行数のカウント、特定の行へのポインタの指示などの追加機能が与えられます。さらに重要なことは、プログラムがデータ セットに対して二次クエリとフィルタリング操作を繰り返し実行できることです。ただし、このバッファー クエリ モードの欠点は、メモリを消費すること、つまり、速度と引き換えにスペースを消費することです。

対照的に、別の PHP クエリ モードはバッファなしクエリであり、データベース サーバーはデータを一度に返すのではなく 1 つずつ返します。その結果、PHP プログラムが消費するメモリは少なくなりますが、データベース サーバーへの負荷は増大します。すべてのデータがフェッチされるまで、データベースは PHP がデータをフェッチするのを待機するためです。

明らかに、バッファー クエリ モードは少量のデータ量のクエリに適しており、非バッファー クエリは大量のデータ量のクエリに適しています。

PHP のバッファー モード クエリについては誰もが知っています。以下に示す例は、非バッファー クエリ API を実行する方法です。

非バッファークエリメソッド 1: mysqli

$mysqli = new mysqli("localhost", "my_user", "my_password", "world"); $uresult = $mysqli->query("都市から名前を選択", MYSQLI_USE_RESULT);

while ($row = $uresult->fetch_assoc()) {
エコー $row['名前'] .PHP_EOL
}
}
$uresult->close(); ?>

$pdo = 新しい PDO("mysql:host=localhost;dbname=world", 'my_user', 'my_pass'); $pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);

$uresult = $pdo->query("都市から名前を選択"); if ($result) {
while ($row = $uresult->fetch(PDO::FETCH_ASSOC)) {

}
}
?>


非バッファークエリメソッド 3: mysql

$conn = mysql_connect("localhost", "my_user", "my_pass"); $db = mysql_select_db("ワールド");

while ($row = mysql_fetch_assoc($uresult)) {
エコー $row['名前'] .PHP_EOL
}

?>

tru​​e