Swoole이 고성능 데이터 백업을 구현하는 방법-Swoole-php.cn

Swoole이 고성능 데이터 백업을 구현하는 방법

WBOY

풀어 주다： 2023-06-25 13:06:42

원래의

916명이 탐색했습니다.

최근 몇 년 동안 데이터 백업은 기업 정보 구축에 없어서는 안될 부분이 되었습니다. 기업의 비즈니스 규모와 데이터량이 증가함에 따라 기존 백업 솔루션은 더 이상 요구 사항을 충족할 수 없으므로 일부 새로운 백업 도구가 등장했습니다. Swoole은 PHP 언어 기반의 고성능 네트워크 통신 프레임워크로 주로 서버 애플리케이션 구현에 사용됩니다. 이 기사에서는 Swoole을 사용하여 고성능 데이터 백업을 달성하는 방법을 소개합니다.

1. 데이터 백업

먼저 데이터를 백업해야 합니다. MySQL과 같은 데이터베이스 소프트웨어는 관련 도구를 제공하므로 해당 명령만 호출하면 데이터를 백업할 수 있습니다. 다음은 간단한 백업 기능입니다.

function backupDatabase($db, $user, $password, $host, $port, $output)
{
    $exec = "mysqldump --opt --skip-lock-tables --extended-insert --user={$user} --password={$password} --host={$host} --port={$port} {$db}";
    if($output)
    {
        $exec .= " > {$output}";
    }
    exec($exec);
}

로그인 후 복사

이 함수는 다음 매개변수를 받습니다:

$db: 백업해야 하는 데이터베이스의 이름

$user: 데이터베이스 사용자 이름

$password: 데이터베이스 비밀번호,

$host: 데이터베이스 호스트 이름,

$port: 데이터베이스 포트 번호,

$output: 백업 파일 경로, null일 수 있음.

이 기능은 데이터베이스를 파일로 백업하는데, 이는 데이터 복원 시 사용되는 SQL 스크립트 파일일 수 있습니다. 물론 데이터베이스 파일 복사 등 다른 백업 방법도 사용할 수 있습니다.

2. 동시 백업

데이터가 큰 경우 백업 프로세스에 다소 시간이 걸릴 수 있습니다. 기존 백업 방법을 사용하면 지정된 백업 순서에 따라 하나씩만 백업할 수 있으며 동시에 여러 백업 작업을 수행할 수 없습니다. Swoole은 비동기 및 동시 백업 작업을 구현할 수 있는 코루틴 지원을 제공합니다.

다음은 Swoole을 사용하여 구현된 동시 백업 기능입니다.

function concurrentBackup($max, $databases)
{
    $num = count($databases);
    $max = min($max, $num);
    $chan = new chan($max);

    for($i = 0; $i < $max; $i++)
    {
        $chan->push($i);
    }

    $results = [];
    $i = 0;
    $executor = new SwooleCoroutineMysql();

    while($i < $num)
    {
        if($result = $chan->pop())
        {
            $database = $databases[$i];
            go(function() use($database, $executor, $chan, &$results) {
                $executor->connect([
                    'host' => $database['host'],
                    'user' => $database['user'],
                    'password' => $database['password'],
                    'database' => $database['schema']
                ]);

                $filename = "/tmp/{$database['schema']}.sql";
                backupDatabase($database['schema'], $database['user'], $database['password'], $database['host'], $database['port'], $filename);

                $executor->query('DROP TABLE IF EXISTS test');

                $result = $executor->query("source {$filename}");
                if($result === false) {
                    $results[$database['schema']] = 'error';
                } else {
                    $results[$database['schema']] = 'ok';
                }

                $executor->close();

                $chan->push(1);
            });

            $i++;
            if($i == $num) break;
        }
    }

    while(count($results) < $num)
    {
        Co::sleep(0.01);
    }

    return $results;
}

로그인 후 복사

이 함수는 두 개의 매개변수를 받습니다:

$max: 최대 동시 백업 수

$databases: 각각을 포함하여 백업해야 하는 데이터베이스 데이터베이스 연결 정보.

이 함수는 코루틴을 통해 여러 동시 백업 작업을 시작합니다. 동시성 수를 제어하려면 먼저 $max 크기의 채널을 만듭니다. 그런 다음 백업 작업은 루프에서 실행되며, 매번 채널에서 사용 가능한 위치를 가져와 코루틴을 시작합니다. 코루틴에서 지정된 데이터베이스를 백업한 후, 백업 파일의 내용을 대상 데이터베이스에 복원합니다. 마지막으로 결과는 $results 배열에 저장됩니다.

코루틴은 경량 스레드이며 하나의 스레드에서 여러 작업을 동시에 처리할 수 있기 때문에 효율적인 동시 백업이 가능합니다.

3. 백업 파일 압축

데이터를 백업할 때 저장 공간을 절약하기 위해 일반적으로 백업 파일을 압축해야 합니다. Swoole은 백업 파일을 쉽게 압축할 수 있는 gzip과 zlib의 두 가지 압축 방법을 제공합니다.

다음은 백업 파일을 압축하는 함수입니다.

function compressBackupFile($filename, $level = 6, $mode = SWOOLE_ZLIB)
{
    $output = $filename . '.gz';
    $ouputFile = gzopen($output, 'wb' . $level);
    $inFile = fopen($filename, 'rb');

    if ($ouputFile && $inFile) {
        if($mode == SWOOLE_ZLIB) {
            $z = new SwooleZlib(SW_ZLIB_DEFLATE, $level, SW_ZLIB_ENCODING_GZIP);
            while(!feof($inFile)) {
                $data = fread($inFile, 1024 * 4);
                if(!$data) break;
                if($z->deflate($data)) {
                    gzwrite($ouputFile, $z->output);
                }
            }
            $z->flush(true);
            gzwrite($ouputFile, $z->output);
        } else {
            while(!feof($inFile)) {
                $data = fread($inFile, 1024 * 4);
                if(!$data) break;
                gzwrite($ouputFile, $data);
            }
        }
        fclose($inFile);
        gzclose($ouputFile);
        unlink($filename);
        return true;
    } else {
        return false;
    }
}

로그인 후 복사

이 함수는 세 가지 매개변수를 받습니다:

$filename: 압축해야 하는 백업 파일의 이름

$level: 압축 수준, 값 범위 1-9, 기본값은 6입니다.

$mode: 압축 모드, 값은 SWOOLE_ZLIB 또는 SWOOLE_GZIP, 기본값은 SWOOLE_ZLIB입니다.

이 기능을 사용하면 백업 파일을 gz 또는 zlib 형식으로 압축할 수 있습니다.

4. 고성능 백업 달성

위의 세 가지 기능을 결합하면 고성능 데이터 백업을 달성할 수 있습니다. 다음은 샘플 프로그램입니다.

$databases = [
    [
        'host' => '127.0.0.1',
        'port' => 3306,
        'user' => 'root',
        'password' => '',
        'schema' => 'db1',
    ],
    [
        'host' => '127.0.0.1',
        'port' => 3306,
        'user' => 'root',
        'password' => '',
        'schema' => 'db2',
    ],
    [
        'host' => '127.0.0.1',
        'port' => 3306,
        'user' => 'root',
        'password' => '',
        'schema' => 'db3',
    ],
    [
        'host' => '127.0.0.1',
        'port' => 3306,
        'user' => 'root',
        'password' => '',
        'schema' => 'db4',
    ],
];

$max = 4;

$s1 = microtime(true);
$results = concurrentBackup($max, $databases);

foreach($results as $schema => $result)
{
    echo "{$schema} backup: {$result}
";
}

$s2 = microtime(true);
echo "time consumed: " . round($s2 - $s1, 3) . "s
";

foreach($databases as $database)
{
    $filename = "/tmp/{$database['schema']}.sql.gz";
    compressBackupFile($filename, 6, SWOOLE_GZIP);
}

로그인 후 복사

이 프로그램은 백업해야 할 데이터베이스를 4개 정의하고 최대 동시 실행 수를 4로 설정합니다. 먼저 ConcurrentBackup 함수를 호출하여 데이터를 병렬로 백업한 후 백업 결과와 백업 프로세스의 실행 시간을 출력합니다. 마지막으로 백업 파일을 압축합니다.

Swoole을 사용하여 고성능 데이터 백업을 달성하면 기존 백업 방법에 비해 백업 효율성을 크게 향상시킬 수 있습니다. 그러나 데이터 백업을 위해 Swoole을 사용할 경우 Swoole을 활용하려면 스레드 풀 크기와 같은 성능 매개변수 조정에 주의해야 합니다.

위 내용은 Swoole이 고성능 데이터 백업을 구현하는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!