用Laravel輕松處理千萬級數(shù)據(jù)的方法實現(xiàn)

在Laravel中使用cursor來查詢并處理數(shù)據(jù) (輕松處理千萬級的數(shù)據(jù))

事發(fā)現(xiàn)場

最近在項目中遇到內(nèi)存不足的問題, 測試環(huán)境中的PHP內(nèi)存只有64M,在導(dǎo)出的時候, 數(shù)據(jù)量比較大,這個時候會出現(xiàn)內(nèi)存溢出的錯誤;

如何解決

目前想到兩種方法:

1. 調(diào)整php.ini文件中memory_limit配置項; 或者在調(diào)用方法中調(diào)整內(nèi)存大小ini_set('memory_limit', "").
2. 使用Laravel的Lazy Collection.
   

考慮到修改配置文件的影響范圍過大, 以及對導(dǎo)出的實時性要求不是很高, 所以我們選擇了第二種方法.

Lazy Collection

如何使用Lazy Collection? 很簡單, 將查詢構(gòu)建器鏈末尾的get()更改為cursor()就好了 !

cursor ( )

cursor的原理

cursor的實現(xiàn)使用了 yield 關(guān)鍵字, yield關(guān)鍵字是生成器函數(shù)的核心, 它的調(diào)用形式跟return很像, 不同之處在于return會返回值并且終止函數(shù)執(zhí)行, 而yield會返回值給循環(huán)調(diào)用生成器的代碼并且只是暫停生成器函數(shù).

cursor()的代碼如下

 /** 
  * 
  Get a generator for the given query. 
  * 
  * @return Generator
  */
 public function cursor() {
  foreach ($this->applyScopes()->query->cursor() as $record) { 
    yield $this->newModelInstance()->newFromBuilder($record);
  } 
 }

由于使用了yield關(guān)鍵字, 在循環(huán)cursor生成器的時候,可以漸進式的處理數(shù)據(jù),即使在內(nèi)存很小的情況下,也可以輕松處理千萬級的數(shù)據(jù)! 真的是非常方便哦!

到此這篇關(guān)于用Laravel輕松處理千萬級數(shù)據(jù)的方法實現(xiàn)的文章就介紹到這了,更多相關(guān)Laravel 處理千萬級數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！