Asas Kejuruteraan Data: Panduan Hands-On

Panduan praktikal untuk membina saluran paip ETL kejuruteraan data. Panduan ini menyediakan pendekatan langsung untuk memahami dan melaksanakan asas kejuruteraan data, meliputi penyimpanan, pemprosesan, automasi dan pemantauan.

Apakah Kejuruteraan Data?

Kejuruteraan data menumpukan pada mengatur, memproses dan mengautomasikan aliran kerja data untuk mengubah data mentah kepada cerapan berharga untuk analisis dan membuat keputusan. Panduan ini merangkumi:

1. Storan Data: Menentukan tempat dan cara data disimpan.
2. Pemprosesan Data: Teknik untuk membersihkan dan mengubah data mentah.
3. Automasi Aliran Kerja: Melaksanakan pelaksanaan aliran kerja yang lancar dan cekap.
4. Pemantauan Sistem: Memastikan kebolehpercayaan dan operasi lancar keseluruhan saluran paip data.

Jom terokai setiap peringkat!

Menyediakan Persekitaran Pembangunan Anda

Sebelum kami bermula, pastikan anda mempunyai perkara berikut:

1. Persediaan Persekitaran:
   • Sistem berasaskan Unix (macOS) atau Windows Subsystem untuk Linux (WSL).
   • Python 3.11 (atau lebih baru) dipasang.
   • Pangkalan data PostgreSQL dipasang dan dijalankan secara setempat.
2. Prasyarat:
   • Kecekapan baris arahan asas.
   • Pengetahuan pengaturcaraan Python asas.
   • Keistimewaan pentadbiran untuk pemasangan dan konfigurasi perisian.
3. Gambaran Keseluruhan Seni Bina:

Rajah menggambarkan interaksi antara komponen saluran paip. Reka bentuk modular ini memanfaatkan kekuatan setiap alat: Aliran udara untuk orkestrasi aliran kerja, Spark untuk pemprosesan data teragih dan PostgreSQL untuk penyimpanan data berstruktur.

1. Memasang Alat yang Diperlukan:
   • PostgreSQL:

     brew update
     brew install postgresql

     Salin selepas log masuk

     Salin selepas log masuk

     Salin selepas log masuk
   • PySpark:

     brew install apache-spark

     Salin selepas log masuk

     Salin selepas log masuk

     Salin selepas log masuk
   • Aliran Udara:

     python -m venv airflow_env
     source airflow_env/bin/activate  # macOS/Linux
     pip install "apache-airflow[postgres]==" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.10.4/constraints-3.11.txt"
     airflow db migrate

     Salin selepas log masuk

     Salin selepas log masuk

     Salin selepas log masuk

Dengan persekitaran yang disediakan, mari kita mendalami setiap komponen.

1. Penyimpanan Data: Pangkalan Data dan Sistem Fail

Storan data ialah asas kepada mana-mana saluran paip kejuruteraan data. Kami akan mempertimbangkan dua kategori utama:

• Pangkalan data: Storan data tersusun dengan cekap dengan ciri seperti carian, replikasi dan pengindeksan. Contohnya termasuk:
  • Pangkalan Data SQL: Untuk data berstruktur (cth., PostgreSQL, MySQL).
  • Pangkalan Data NoSQL: Untuk data tanpa skema (cth., MongoDB, Redis).
• Sistem Fail: Sesuai untuk data tidak berstruktur, menawarkan ciri yang lebih sedikit daripada pangkalan data.

Menyediakan PostgreSQL

1. Mulakan Perkhidmatan PostgreSQL:

brew update
brew install postgresql

2. Buat Pangkalan Data, Sambung dan Buat Jadual:

brew install apache-spark

3. Masukkan Data Contoh:

python -m venv airflow_env
source airflow_env/bin/activate  # macOS/Linux
pip install "apache-airflow[postgres]==" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.10.4/constraints-3.11.txt"
airflow db migrate

Data anda kini disimpan dengan selamat dalam PostgreSQL.

2. Pemprosesan Data: PySpark dan Pengkomputeran Teragih

Rangka kerja pemprosesan data mengubah data mentah menjadi cerapan yang boleh diambil tindakan. Apache Spark, dengan keupayaan pengkomputeran yang diedarkan, adalah pilihan yang popular.

• Mod Pemprosesan:
  • Pemprosesan Kelompok: Memproses data dalam kelompok bersaiz tetap.
  • Pemprosesan Strim: Memproses data dalam masa nyata.
• Alat Biasa: Apache Spark, Flink, Kafka, Hive.

Memproses Data dengan PySpark

1. Pasang Java dan PySpark:

brew services start postgresql

2. Muat Data daripada Fail CSV:

Buat fail sales.csv dengan data berikut:

CREATE DATABASE sales_data;
\c sales_data
CREATE TABLE sales (
    id SERIAL PRIMARY KEY,
    item_name TEXT,
    amount NUMERIC,
    sale_date DATE
);

Gunakan skrip Python berikut untuk memuatkan dan memproses data:

INSERT INTO sales (item_name, amount, sale_date)
VALUES ('Laptop', 1200, '2024-01-10'),
       ('Phone', 800, '2024-01-12');

3. Tapis Jualan Bernilai Tinggi:

brew install openjdk@11 && brew install apache-spark

4. Sediakan pemacu DB Postgres: Muat turun pemacu PostgreSQL JDBC jika perlu dan kemas kini laluan dalam skrip di bawah.

5. Simpan Data Diproses ke PostgreSQL:

brew update
brew install postgresql

Pemprosesan data dengan Spark selesai.

3. Automasi Aliran Kerja: Aliran Udara

Automasi memperkemas pengurusan aliran kerja menggunakan penjadualan dan definisi pergantungan. Alat seperti Aliran Udara, Oozie dan Luigi memudahkan perkara ini.

Mengautomasikan ETL dengan Aliran Udara

1. Mulakan Aliran Udara:

brew install apache-spark

2. Buat Aliran Kerja (DAG):

python -m venv airflow_env
source airflow_env/bin/activate  # macOS/Linux
pip install "apache-airflow[postgres]==" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.10.4/constraints-3.11.txt"
airflow db migrate

DAG ini berjalan setiap hari, melaksanakan skrip PySpark dan termasuk langkah pengesahan. Makluman e-mel dihantar apabila gagal.

3. Pantau Aliran Kerja: Letakkan fail DAG dalam direktori dags/ Aliran Udara, mulakan semula perkhidmatan Aliran Udara dan pantau melalui UI Aliran Udara di http://localhost:8080.

4. Pemantauan Sistem

Pemantauan memastikan kebolehpercayaan saluran paip. Amaran aliran udara, atau penyepaduan dengan alatan seperti Grafana dan Prometheus, adalah strategi pemantauan yang berkesan. Gunakan UI Aliran Udara untuk menyemak status tugas dan log.

Kesimpulan

Anda telah belajar untuk menyediakan storan data, memproses data menggunakan PySpark, mengautomasikan aliran kerja dengan Aliran Udara dan memantau sistem anda. Kejuruteraan data ialah bidang yang penting, dan panduan ini menyediakan asas yang kukuh untuk penerokaan selanjutnya. Ingat untuk merujuk rujukan yang disediakan untuk mendapatkan maklumat yang lebih mendalam.

Atas ialah kandungan terperinci Asas Kejuruteraan Data: Panduan Hands-On. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!