Pemprosesan dan pengkomputeran data besar menggunakan PHP dan Google Cloud Dataproc

Dengan kemajuan teknologi komputer yang berterusan, jumlah data yang dijana juga telah meningkat dengan ketara Pemprosesan dan pengiraan data besar-besaran ini telah menjadi salah satu cabaran paling penting dalam masyarakat hari ini. Google Cloud Dataproc ialah perkhidmatan pemprosesan data besar di Google Cloud Ia boleh memproses dan menganalisis data besar-besaran dalam persekitaran yang diedarkan, terutamanya untuk perusahaan yang perlu melakukan pengiraan dan analisis data berskala besar. Artikel ini akan memperkenalkan cara menggunakan PHP dan Google Cloud Dataproc untuk melaksanakan pemprosesan dan pengkomputeran data besar.

1. Pengenalan kepada Google Cloud Dataproc

Google Cloud Dataproc ialah perkhidmatan pemprosesan data besar di Google Cloud Ia berdasarkan Apache Hadoop dan Spark ini boleh memproses sejumlah besar data dan juga boleh menyasarkan jenis data yang berbeza . Lakukan operasi yang berbeza seperti pertanyaan data, pembelajaran mesin, analisis graf dan banyak lagi. Google Cloud Dataproc juga boleh mengautomasikan dan menskalakan pemprosesan data dengan cepat, membantu pengguna mengurangkan kos pengkomputeran dan analisis data besar dengan ketara.

2 Kelebihan Google Cloud Dataproc

1 Pantas – Google Cloud Dataproc boleh menyelesaikan tugasan penting seperti analisis data besar, pemprosesan, penyimpanan data dan pengurusan dalam beberapa minit, dan sangat sesuai untuk perusahaan yang perlu memproses secara besar-besaran. jumlah data dengan cepat.

2. Kemudahan penggunaan – Google Cloud Dataproc sangat mudah digunakan. Ia tidak memerlukan banyak masa untuk mengkonfigurasi atau menyelenggara Perisian dan Perkakasan , dan Google Cloud Dataproc boleh dimulakan secara automatik dan menghentikan kluster, menyediakan antara muka pengguna berasaskan web yang membolehkan pengguna mengurus dan memantau status analitik dengan mudah dan cepat.

3 Keselamatan – Google Cloud Dataproc mempunyai mekanisme keselamatan yang ketat untuk memastikan data pengguna tidak akan diakses dan digodam secara haram, supaya pengguna boleh menggunakannya dengan yakin.

3 Gunakan PHP untuk memuat naik dan memproses data

Antara muka baris arahan, sambungan dan modul PHP menjadikannya alat yang baik untuk memproses data.

1. Muat naik data

Menggunakan PHP boleh bekerjasama dengan SDK Storan Awan Google untuk memuat naik data berskala besar ke Google Cloud dengan pantas.

Pertama, pengguna perlu membuat baldi baharu dalam Google Cloud Console, yang akan menyimpan fail yang dimuat naik.

Cari "API dan Perkhidmatan"->"Maklumat Pengesahan"->Buat akaun perkhidmatan dalam konsol dan buat kunci untuk kebenaran akaun ini.

Pasang SDK Storan Awan Google melalui Komposer:

composer require google/cloud-storage

Gunakan kod berikut dalam program PHP untuk mengesahkan dan menyediakan baldi storan:

use GoogleCloudStorageStorageClient;
$storage = new StorageClient([
    'projectId' => 'your-project-id',
    'keyFile' => json_decode(file_get_contents('/path/to/keyfile.json'), true)
]);
$bucketName = 'my-bucket-name';
$bucket = $storage->bucket($bucketName);

Gunakan kod berikut untuk memuat naik fail tempatan ke Google Cloud:

$bucket->upload(
fopen('/path/to/your/local/file', 'r'),
['name' => 'your_file_name']
);

Selepas muat naik selesai, pengguna boleh menggunakan percikan untuk membaca data untuk analisis dan pemprosesan melalui Google Cloud Dataproc.

2. Gunakan arahan Shell untuk memproses data

Google Cloud Dataproc menyediakan antara muka baris arahan standard, membolehkan pengguna menggunakannya untuk memproses data dengan mudah dan cepat. Pengguna boleh menggunakan skrip yang ditulis dalam PHP untuk memanggil skrip Shell yang sepadan, yang membolehkan pengguna mengendalikan data dengan lebih fleksibel.

Menggunakan PHP, anda hanya boleh memanggil perintah serah percikan antara muka baris arahan untuk menganalisis dan mengira data. Pengguna perlu mencipta fail skrip yang mengandungi arahan hantar percikan Skrip ini membolehkan pengguna menghantar data kepada percikan. Kandungan skrip adalah seperti berikut:

#!/usr/bin/env bash
spark-submit 
 --class com.example.myapp.MySparkJob 
 --master yarn 
 --deploy-mode cluster 
 --num-executors 5 
 --executor-cores 2 
 --executor-memory 4g 
 /path/to/your/spark/job.jar "inputfile.csv" "outputdir"

Antaranya, MySparkJob adalah kelas utama aplikasi Spark yang ditulis oleh pengguna dan perlu ditulis mengikut keperluan khusus pengguna. Selepas memuat naik pakej Jar tugas Spark, gunakan kod berikut untuk menjalankan:

exec('bash /path/to/your/shell/script.sh');

Dengan cara ini pengguna boleh menggunakan PHP untuk memproses dan menganalisis data besar-besaran dengan mudah di Google Cloud.

4. Gunakan Google Cloud Dataproc untuk membersihkan data yang tidak berguna

Bagi pengguna yang menggunakan Google Cloud Dataproc untuk memproses data, hasil analisis perlu dibersihkan selepas tugasan selesai untuk memudahkan pemprosesan dan analisis data seterusnya. Menggunakan PHP, anda boleh memanggil SDK Storan Awan Google dengan mudah untuk memadamkan data dalam Baldi.

Pengguna boleh menggunakan kod berikut untuk memadamkan fail dan data yang ditentukan daripada senarai fail yang dimuat naik:

use GoogleCloudStorageStorageClient;

$storage = new StorageClient();
$bucketName = 'my-bucket-name';

$bucket = $storage->bucket($bucketName);

// Delete a file
$bucket->object('file.txt')->delete();

// Delete all the files in the bucket
foreach ($bucket->objects() as $object) {
    $object->delete();
}

Ringkasan

Menggunakan PHP dan Google Cloud Dataproc untuk memproses data besar, anda boleh menganalisis dan mengira data dengan mudah dan cepat. SDK Storan Awan Google boleh dipanggil dengan mudah melalui PHP untuk memuat naik data ke Google Cloud dengan cepat. Pada masa yang sama, data yang tidak berguna dibersihkan melalui Google Cloud Dataproc untuk menjadikan data pengguna lebih jelas dan bersih. Google Cloud Dataproc ialah alat berkuasa yang membolehkan pengguna memproses dan menganalisis data dengan pantas dalam persekitaran yang diedarkan, sambil turut membantu pengguna menjimatkan masa dan wang.

Atas ialah kandungan terperinci Pemprosesan dan pengkomputeran data besar menggunakan PHP dan Google Cloud Dataproc. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!