Lazy Collections를 사용하여 Laravel Excel 읽기 성능을 향상시키는 방법에 대한 자세한 설명(수백만 개의 데이터를 쉽게 지원)

Laravel 6: Lazy Collections에는 새로운 유형의 컬렉션이 추가되었습니다. 메모리 제약 없이 매우 큰 데이터 세트(수천 또는 수백만 행)를 처리해야 하는 경우 유용합니다.

추천: laravel 튜토리얼

가장 최근 작업은 직장 프로젝트에서 Excel 내보내기를 리팩토링하는 것이었습니다. 문제는 Laravel이 처리하기에는 데이터 세트가 너무 커서 내보내기를 더 이상 생성할 수 없다는 것입니다. 데이터베이스 쿼리는 약 300,000개의 결과를 반환했습니다! 애플리케이션 시간이 초과되거나 지속적으로 메모리가 부족합니다.

순진한 접근 방식은 시간 초과 또는 메모리 제한을 늘리고 다음에 문제가 발생하면 다른 사람이 이를 처리하기를 바라는 것입니다. 하지만 나는 그렇게 일하지 않습니다. 나는 반창고를 좋아하지 않습니다. 나는 구체적이고 장기적인 해결책을 좋아합니다.

Laravel Excel 확장은 이미 매우 유연합니다. FromQuery-concerns를 사용할 때 "청크"를 사용하여 데이터베이스 부하를 줄이는 데 큰 도움이 됩니다. 그러나 우리의 내보내기는 여전히 대규모 데이터 세트로 인해 어려움을 겪고 있습니다.

동료들과 저는 이 기능을 완전히 다시 작성해야 할지 논의했습니다. 내보내기를 대기열에 푸시하고 내보내기가 끝나면 사용자에게 알림을 보냅니다. 하지만 이 기능은 이 앱에서는 사소한 기능일 뿐입니다. 단순한 내보내기를 위해 너무 많은 오버헤드를 추가하는 것은 우리에게 의미가 없습니다.

그 날 늦게 Laravel에 LazyCollections가 있다는 것을 기억했기 때문에 저는 약간의 "유레카" 순간을 보냈습니다.

내보내기를 다시 작성했습니다. 이제 FromQuery 대신 FromCollection-concern을 사용합니다. collection() 메서드에서 변경해야 했던 유일한 변경 사항은 쿼리 빌더 체인 끝에 있는 get() 메서드를 커서()로 바꾸는 것이었습니다.

다음은 내보내기 기능의 단순화된 버전입니다. 요청 개체는 생성자를 통해 전달되므로 사용자가 UI에서 선택하는 항목에 따라 쿼리를 조정할 수 있습니다.

<?php 
namespace App\Exports;
use App\User;
use Maatwebsite\Excel\Concerns\Exportable;
use Maatwebsite\Excel\Concerns\FromCollection;
use Illuminate\Http\Request;
class UsersExport implements FromCollection
{
    use Exportable;
    protected Request $request;
    public function __construct(Request $request)
    {
        $this->request = $request;
    }
    public function collection()
    {
        return User::query()
            ->when($this->request->get(&#39;include_subscribed&#39;), function ($q) {
                return $q->where(&#39;is_subscribed&#39;, true);
            })
            ->cursor(); // ← 重要的一点
    }
}

프로젝트에서 메모리 문제가 발생한 것 같습니다. 메모리 제한을 늘렸으며 이로 인해 문제가 해결되기를 바랍니다(나도 이 작업을 수없이 수행했습니다).

Laravel 프로젝트에 있었다면 여러분이 해당 코드를 다시 방문하여 LazyCollections를 사용하여 다시 작성할 수 있었으면 좋겠습니다.

이 문제를 해결하는 것은 매우 즐거웠기 때문에 약간의 벤치마크를 수행했습니다. 이제 내보내기를 통해 메모리 제한에 도달하지 않고도 수백만 개의 행을 쉽게 내보낼 수 있습니다. 정말 멋지다!

위 내용은 Lazy Collections를 사용하여 Laravel Excel 읽기 성능을 향상시키는 방법에 대한 자세한 설명(수백만 개의 데이터를 쉽게 지원)의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!