PHP 開発におけるビッグデータの計算と保存に Google BigQuery を使用する方法

データ量が増加し続けるにつれて、従来のデータベース管理システムでは、ビッグデータのストレージとコンピューティングのニーズを満たすことができなくなりました。 Google BigQuery は、新しいタイプのクラウド ストレージおよびコンピューティング サービスとして、ますます多くの企業や開発者によって使用されています。この記事では、PHP 開発におけるビッグデータの計算と保存に Google BigQuery を使用する方法を紹介します。

1. Google BigQuery とは

Google BigQuery は、SQL ステートメントを通じて大量のデータを効率的にクエリし、Google Cloud Storage を通じて保存できる強力なクラウド ビッグ データ分析サービスです。 Google BigQuery を使用すると、サーバーやデータベースの管理に費用やストレスをかけることなく、データを迅速に分析できます。 Google BigQuery は SQL 言語をサポートしており、ペタバイトレベルのデータを処理できます。

2. Google BigQuery を使用するために必要な準備

1. Google Cloud Platform アカウント: Google BigQuery を使用する前に、Google Cloud Platform アカウントを申請し、Google BigQuery を有効にする必要があります。サービス。
2. Google Cloud SDK のインストール: ローカル開発で Google BigQuery を使用するには、Google Cloud SDK をインストールし、必要な構成を行う必要があります。インストールと設定は、公式 Web サイトまたはコマンドラインから行うことができます。
3. API 認証情報: Google BigQuery API を使用して開発する前に、Google API 認証情報を取得する必要があります。まず Google Cloud Console で Google BigQuery API を有効にし、API 認証情報を作成する必要があります。認証情報の種類には、OAuth2.0 クライアント ID、サービス アカウント キー、API キーが含まれます。このうち、OAuth2.0 クライアント ID は Web アプリケーションでの使用に適しており、サービス アカウント キーはバックエンドで実行されるアプリケーションでの使用に適しており、API キーは単純な HTTP/REST アプリケーションでの使用に適しています。

3. データ クエリに Google BigQuery を使用する

PHP 開発では、Google API クライアント ライブラリを使用して Google BigQuery API を使用できます。まず、Google Cloud Console でプロジェクトを作成し、プロジェクトで BigQuery API サービスを有効にする必要があります。次に、Google Cloud Console でサービス アカウントを作成し、credentials.json 認証情報ファイルを取得します。最後に、Google API PHP クライアント ライブラリをダウンロードしてインストールします。

以下は、データ クエリに Google BigQuery を使用するコード実装です:

<?php
require_once __DIR__ . '/vendor/autoload.php';
putenv('GOOGLE_APPLICATION_CREDENTIALS=' . __DIR__ . '/credentials.json');
$client = new Google_Client();
$client->useApplicationDefaultCredentials();
$client->addScope(Google_Service_Bigquery::BIGQUERY);

// 设置查询选项
$options = [
    'useLegacySql' => false
];

// 查询SQL语句
$sql = 'SELECT count(*) as count FROM `project.dataset.table`';

// 创建BigQuery服务对象
$service = new Google_Service_Bigquery($client);

// 从BigQuery查询数据
$results = $service->jobs->query('project-id', new Google_Service_Bigquery_QueryJobConfiguration([
    'query' => $sql,
    'useLegacySql' => false
]));

// 从结果中获取行数据
if ($rows = $results->getRows()) {
    $count = $rows[0]['f'][0]['v'];
    echo 'count: ' . $count . PHP_EOL;
}

上記のコードでは、Google API PHP クライアント ライブラリを使用して BigQuery サービス オブジェクトを作成します。次に、クエリ オプションを設定し、SQL ステートメントを通じてデータをクエリし、クエリ結果から行データを取得します。最後に、必要に応じてクエリ結果に対してデータ処理を実行できます。

4. データ ストレージに Google BigQuery を使用する

Google BigQuery では、バッチ挿入、ストリーミング データ挿入、テーブル インポートなどのさまざまな方法でデータ セットにデータを保存できます。以下では、バッチ挿入を例として、データ ストレージに Google BigQuery を使用する方法を紹介します。

1. データセットとテーブルの作成

データ ストレージに Google BigQuery を使用する前に、Google Cloud Console でデータセットとテーブルを作成する必要があります。データセットとテーブルを作成することで、保存するデータのデータ型と構造を指定できます。

2. Google Cloud BigQuery の PHP 拡張機能をインストールする

Google BigQuery をデータ ストレージに使用するには、Google Cloud BigQuery の PHP 拡張機能をインストールする必要があります。公式ウェブサイトまたはコマンドライン。インストールが完了したら、Google Cloud BigQuery 拡張機能を PHP 構成ファイルに追加する必要があります。

3. PHP プログラムの作成

データ ストレージに Google BigQuery を使用する PHP プログラムの例を次に示します。

<?php
require_once __DIR__ . '/vendor/autoload.php';
putenv('GOOGLE_APPLICATION_CREDENTIALS=' . __DIR__ . '/credentials.json');
$client = new Google_Client();
$client->useApplicationDefaultCredentials();
$client->addScope(Google_Service_Bigquery::BIGQUERY);

// 数据集和表的名称
$datasetName = 'project.dataset';
$tableName = 'table';

// 插入数据
$service = new Google_Service_Bigquery($client);
$rows = [
    ['column1' => 'value1', 'column2' => 123],
    ['column1' => 'value2', 'column3' => 'value3']
];
$service->tabledata->insertAll($projectId, $datasetName, $tableName, new Google_Service_Bigquery_TableDataInsertAllRequest([
    'rows' => $rows
]));

上記の例では、 Google API を使用します。PHP クライアント ライブラリは、BigQuery サービス オブジェクトを作成し、保存するデータ セットとテーブルの名前を指定し、tabledata->insertAll() メソッドを通じてデータをデータ テーブルに挿入します。 。このうち、$rowsは挿入対象の行データであり、各行データは連想配列(キーが列名、値が列の値)です。

概要

Google BigQuery は、新しいタイプのクラウド ストレージおよびコンピューティング サービスとして、開発者に強力なビッグ データ分析機能を提供します。 PHP 開発では、Google API PHP クライアント ライブラリを通じて Google BigQuery API を使用して、データの効率的なクエリとストレージを実現できます。この記事が、PHP 開発での Google BigQuery の使用に役立つことを願っています。

以上がPHP 開発におけるビッグデータの計算と保存に Google BigQuery を使用する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。