기가바이트 단위의 텍스트 데이터 행을 어떻게 효율적으로 계산할 수 있습니까?-PHP 튜토리얼-php.cn

기가바이트 단위의 텍스트 데이터 행을 어떻게 효율적으로 계산할 수 있습니까?

Linda Hamilton

풀어 주다： 2024-11-01 14:43:02

원래의

323명이 탐색했습니다.

How Can You Efficiently Count Lines in Gigabytes of Text Data?

큰 텍스트 파일(수 GB)에서 줄 계산 최적화

200MB를 초과하는 텍스트 파일의 경우 count(file($path))를 사용하여 줄 계산을 수행할 때 발생할 수 있는 문제 메모리 제한. 더 효율적인 솔루션은 다음과 같습니다.

<code class="php">$file = "largefile.txt";
$linecount = 0;

$handle = fopen($file, "r");

while (!feof($handle)) {
  fgets($handle);
  $linecount++;
}

fclose($handle);

echo $linecount;</code>

로그인 후 복사

이 접근 방식은 한 번에 한 줄씩 메모리에 로드하므로 전체 파일을 메모리에 저장할 필요가 없습니다.

파일에 줄 바꿈을 계산하는 대신 이 대체 방법을 사용할 수 있습니다.

<code class="php">$linecount = 0;

$handle = fopen($file, "r");

while (!feof($handle)) {
  $line = fgets($handle, 4096);
  $linecount += substr_count($line, PHP_EOL);
}

fclose($handle);</code>

로그인 후 복사

파일을 청크하고 줄 바꿈을 계산하면 유난히 긴 줄에서도 메모리 문제를 완화할 수 있습니다.

위 내용은 기가바이트 단위의 텍스트 데이터 행을 어떻게 효율적으로 계산할 수 있습니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!