PHP でのビッグデータ処理アイデアの分析例

以前のバージョンで大規模なデータ処理レポートに関連する問題が発生しました。以前に同期ハンドラー コードを使用してこの問題を解決しましたが、実行が非常に遅く、スクリプトの最大実行時間を 10 ～ 15 分延長する必要がありました。 PHP サイトで大量のデータを処理するより良い方法はありますか?理想的には、バックグラウンドで実行して、できるだけ高速にしたいと考えています。このプロセスには、Laravel を使用してサイトを再構築した何千もの財務データの処理が含まれていました。

最も人気のある回答 (spin81 より):

人々はキューなどを使用するように言いますが、それは良い考えですが、問題は PHP にあるようではありません。 Laravel/OOP は優れていますが、あなたが話しているレポートを生成するプログラムには問題がないようです。別の観点から、このデータを取得するために使用した SQL クエリを見てみたいと思います。他の人が言ったように、フォームに数千行がある場合、レポートが完了するまでに 10 ～ 15 分もかからないはずです。実際、すべてを正しく行えば、おそらく数千のレコードを処理し、同じレポートを 1 分で完成させることができます。

1. 何千ものクエリを実行している場合は、最初にいくつかのクエリだけを実行できるかどうかを確認してください。私は以前、PHP 関数を使用して 70,000 クエリを 12 クエリに削減し、実行時間を数分から 1 秒に短縮しました。

2. クエリに対して EXPLAIN を実行して、インデックスが欠落しているかどうかを確認します。以前、クエリを作成したところ、インデックスを追加することで効率が 4 桁向上しました。これは誇張ではありません。 MySQL を使用している場合は、この「黒魔術」スキルを習得して、あなたとあなたの友人を驚かせるでしょう。

3. SQL クエリを実行して結果を取得し、多数の数値をまとめて取得する場合は、SUM() や AVG() などの関数を使用して GROUP BY ステートメントを呼び出すことができるかどうかを確認してください。一般的なルールとして、可能な限り多くの計算をデータベースに処理させます。私があなたに与えることができる非常に重要なヒントの 1 つはこれです: (少なくとも MySQL では) ブール式は 0 または 1 の値を取ります。そして、本当に創造的であれば、SUM() とその仲間を使用してそれを行うことができます。いくつかの非常に驚くべきことです。

4. さて、PHP 側からの最後のヒントです。同じように時間のかかる数値を何度も計算したかどうかを確認してください。たとえば、ジャガイモ 1,000 袋のコストを計算するのは高価ですが、ジャガイモ 1,000 袋のコストを配列などに保存する前に、そのコストを 500 回計算する必要はないとします。同じことを何度も計算する必要はありません。このテクニックはニーモニックと呼ばれ、あなたのレポートのようなレポートで使用すると、驚くような効果を発揮することがよくあります。
関連するおすすめ:

PHP Webサイトのビッグデータ、大量トラフィック、高同時実行性に対するソリューション

基本的なJavaScriptチュートリアルでの6つの主要なデータ型の使用法を詳しく説明

大容量データのテストに関するおすすめ記事

以上がPHP でのビッグデータ処理アイデアの分析例の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。