PHP超低內(nèi)存遍歷目錄文件和讀取超大文件的方法

這不是一篇教程，這是一篇筆記，所以我不會(huì)很系統(tǒng)地論述原理和實(shí)現(xiàn)，只簡(jiǎn)單說明和舉例。

前言

我寫這篇筆記的原因是現(xiàn)在網(wǎng)絡(luò)上關(guān)于 PHP 遍歷目錄文件和 PHP 讀取文本文件的教程和示例代碼都是極其低效的，低效就算了，有的甚至好意思說是高效，實(shí)在辣眼睛。

這篇筆記主要解決這么幾個(gè)問題：

PHP 如何使用超低內(nèi)存快速遍歷數(shù)以萬計(jì)的目錄文件？

PHP 如何使用超低內(nèi)存快速讀取幾百M(fèi)B甚至是GB級(jí)文件？

順便解決哪天我忘了可以通過搜索引擎搜到我自己寫的筆記來看看。（因?yàn)樾枰?PHP 寫這兩個(gè)功能的情況真的很少，我記性不好，免得忘了又重走一遍彎路）

遍歷目錄文件

網(wǎng)上關(guān)于這個(gè)方法的實(shí)現(xiàn)大多示例代碼是 glob 或者 opendir + readdir 組合，在目錄文件不多的情況下是沒問題的，但文件一多就有問題了（這里是指封裝成函數(shù)統(tǒng)一返回一個(gè)數(shù)組的時(shí)候），過大的數(shù)組會(huì)要求使用超大內(nèi)存，不僅導(dǎo)致速度慢，而且內(nèi)存不足的時(shí)候直接就崩潰了。

這時(shí)候正確的實(shí)現(xiàn)方法是使用 yield 關(guān)鍵字返回，下面是我最近使用的代碼：

?php

function glob2foreach($path, $include_dirs=false) {
  $path = rtrim($path, '/*');
  if (is_readable($path)) {
    $dh = opendir($path);
    while (($file = readdir($dh)) !== false) {
      if (substr($file, 0, 1) == '.')
        continue;
      $rfile = "{$path}/{$file}";
      if (is_dir($rfile)) {
        $sub = glob2foreach($rfile, $include_dirs);
        while ($sub->valid()) {
          yield $sub->current();
          $sub->next();
        }
        if ($include_dirs)
          yield $rfile;
      } else {
        yield $rfile;
      }
    }
    closedir($dh);
  }
}

// 使用
$glob = glob2foreach('/var/www');
while ($glob->valid()) {
  
  // 當(dāng)前文件
  $filename = $glob->current();
  
  // 這個(gè)就是包括路徑在內(nèi)的完整文件名了
  // echo $filename;

  // 指向下一個(gè)，不能少
  $glob->next();
}

yield 返回的是生成器對(duì)象（不了解的可以先去了解一下 PHP 生成器），并沒有立即生成數(shù)組，所以目錄下文件再多也不會(huì)出現(xiàn)巨無霸數(shù)組的情況，內(nèi)存消耗是低到可以忽略不計(jì)的幾十 kb 級(jí)別，時(shí)間消耗也幾乎只有循環(huán)消耗。

讀取文本文件

讀取文本文件的情況跟遍歷目錄文件其實(shí)類似，網(wǎng)上教程基本上都是使用 file_get_contents 讀到內(nèi)存里或者 fopen + feof + fgetc 組合即讀即用，處理小文件的時(shí)候沒問題，但是處理大文件就有內(nèi)存不足等問題了，用 file_get_contents 去讀幾百M(fèi)B的文件幾乎就是自殺。

這個(gè)問題的正確處理方法同樣和 yield 關(guān)鍵字有關(guān)，通過 yield 逐行處理，或者 SplFileObject 從指定位置讀取。

逐行讀取整個(gè)文件：

?php
function read_file($path) {
  if ($handle = fopen($path, 'r')) {
    while (! feof($handle)) {
      yield trim(fgets($handle));
    }
    fclose($handle);
  }
}
// 使用
$glob = read_file('/var/www/hello.txt');
while ($glob->valid()) {
  
  // 當(dāng)前行文本
  $line = $glob->current();
  
  // 逐行處理數(shù)據(jù)
  // $line

  // 指向下一個(gè)，不能少
  $glob->next();
}

通過 yield 逐行讀取文件，具體使用多少內(nèi)存取決于每一行的數(shù)據(jù)量有多大，如果是每行只有幾百字節(jié)的日志文件，即使這個(gè)文件超過100M，占用內(nèi)存也只是KB級(jí)別。

但很多時(shí)候我們并不需要一次性讀完整個(gè)文件，比如當(dāng)我們想分頁(yè)讀取一個(gè)1G大小的日志文件的時(shí)候，可能想第一頁(yè)讀取前面1000行，第二頁(yè)讀取第1000行到2000行，這時(shí)候就不能用上面的方法了，因?yàn)槟欠椒m然占用內(nèi)存低，但是數(shù)以萬計(jì)的循環(huán)是需要消耗時(shí)間的。

這時(shí)候，就改用 SplFileObject 處理，SplFileObject 可以從指定行數(shù)開始讀取。下面例子是寫入數(shù)組返回，可以根據(jù)自己業(yè)務(wù)決定要不要寫入數(shù)組，我懶得改了。

?php

function read_file2arr($path, $count, $offset=0) {

  $arr = array();
  if (! is_readable($path))
    return $arr;

  $fp = new SplFileObject($path, 'r');
  
  // 定位到指定的行數(shù)開始讀
  if ($offset)
    $fp->seek($offset); 

  $i = 0;
  
  while (! $fp->eof()) {
    
    // 必須放在開頭
    $i++;
    
    // 只讀 $count 這么多行
    if ($i > $count)
      break;
    
    $line = $fp->current();
    $line = trim($line);

    $arr[] = $line;

    // 指向下一個(gè)，不能少
    $fp->next();
  }
  
  return $arr;
}

以上所說的都是文件巨大但是每一行數(shù)據(jù)量都很小的情況，有時(shí)候情況不是這樣，有時(shí)候是一行數(shù)據(jù)也有上百M(fèi)B，那這該怎么處理呢？

如果是這種情況，那就要看具體業(yè)務(wù)了，SplFileObject 是可以通過 fseek 定位到字符位置（注意，跟 seek 定位到行數(shù)不一樣），然后通過 fread 讀取指定長(zhǎng)度的字符。

也就是說通過 fseek 和 fread 是可以實(shí)現(xiàn)分段讀取一個(gè)超長(zhǎng)字符串的，也就是可以實(shí)現(xiàn)超低內(nèi)存處理，但是具體要怎么做還是得看具體業(yè)務(wù)要求允許你怎么做。

復(fù)制大文件

順便說下 PHP 復(fù)制文件，復(fù)制小文件用 copy 函數(shù)是沒問題的，復(fù)制大文件的話還是用數(shù)據(jù)流好，例子如下：

?php

function copy_file($path, $to_file) {

  if (! is_readable($path))
    return false;

  if(! is_dir(dirname($to_file)))
    @mkdir(dirname($to_file).'/', 0747, TRUE);
  
  if (
    ($handle1 = fopen($path, 'r')) 
     ($handle2 = fopen($to_file, 'w'))
  ) {

    stream_copy_to_stream($handle1, $handle2);

    fclose($handle1);
    fclose($handle2);
  }
}

最后

我這只說結(jié)論，沒有展示測(cè)試數(shù)據(jù)，可能難以服眾，如果你持懷疑態(tài)度想求證，可以用 memory_get_peak_usage 和 microtime 去測(cè)一下代碼的占用內(nèi)存和運(yùn)行時(shí)間。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。