首頁 > 後端開發 > php教程 > 在php中怎麼解決大量的資料處理問題

在php中怎麼解決大量的資料處理問題

伊谢尔伦
發布: 2016-11-25 13:20:20
原創
1260 人瀏覽過

問題(來自lunacyfoundme)

       我正在重建我們公司內部網,期間遇到一個與大量資料處理報告有關的前一個版本的問題。之前我曾用同步處理程序程式碼解決過這個問題,只是運行的很慢很慢,這導致我不得不延長最大腳本運行時間10到15分鐘。有沒有更好的方式來處理PHP站點裡的大量資料呢?理想情況下我想在後台運行它,並且跑的越快越好。這個過程包括處理成千上萬條的財務數據,我是使用Laravel來重建這個站點的。
 

最好受歡迎的答案(來自spin81):

       人們都告訴你要使用隊列和諸如此類的東西,這是一個好主意,但問題好像並沒有出在PHP上面。 Laravel/OOP是很厲害的,但產生你所說的報告的程式似乎不應該你該有問題。對於不同的看法,我想看看你得到這些資料時所使用的SQL查詢。正如其他人所說,如果你的表單有成千上萬行那你的報告應該不會耗費10到15分鐘才完成。實際上,如果你沒做錯事的話可能會在一分鐘內就能處理成千上萬筆記錄,完成同樣的報告。

1.如果你正在做成千上萬條查詢,看看你能不能先只做幾個查詢。我之前曾使用一個PHP函數把70000個查詢降為十幾條查詢,這樣它的運行時間就從幾分鐘降到了幾分之一秒。
 
2.在你的查詢上執行EXPLAIN,看看你是不是缺少什麼索引。我曾經做過一個查詢,透過增加了一個索引後效率提高了4個數量級,這沒有任何誇張的成分。如果你正在使用MySQL,你可以學這個,這種「黑魔法」技能會讓你和你的小夥伴驚呆的。
 
3.如果你正在做SQL查詢,然後獲得結果,並把很多數字弄到一起,看看你能不能使用像SUM()和AVG()之類的函數調用GROUP BY語句。跟普遍的情況下,讓資料庫處理盡量多的計算。我能給你的一點很重要的提示是:(至少在MySQL裡是這樣)布林表達式的值為0或1,如果你很有創意的話,你可以使用SUM()和它的小夥伴們做些很讓人驚訝的事情。
 
4.好了,最後來一個PHP端的提示:看看你是不是把這些同樣很耗費時間的數字計算了很多遍。例如,假設1000袋馬鈴薯的成本是昂貴的計算,但你並不需要把這個成本計算500次,然後才把1000袋馬鈴薯的成本儲存在一個陣列或其他類似的地方,所以你不必把同樣的東西翻來覆去的計算。這個技術叫做記憶術,在像你這樣的報告中使用往往會帶來奇蹟般的效果。

相關標籤:
php
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板