Cara menggunakan perangkak AWS Glue dengan Amazon Athena

Apakah itu AWS Glue?

Gam AWS ialah perkhidmatan terurus tanpa pelayan yang membolehkan anda menemui, menyediakan, bergerak, dan menyepadukan data daripada pelbagai sumber. Sebagai penyepaduan data perkhidmatan, AWS Glue memberi anda kuasa untuk mengurus data secara terpusat lokasi tanpa perlu mengurus infrastruktur.

Apakah perangkak AWS Glue?

Glue perangkak ialah alat penemuan data automatik yang mengimbas data sumber untuk mengelaskan, mengumpulkan dan mengkatalogkan data di dalamnya secara automatik. Ia kemudian mencipta baharu atau mengemas kini jadual sedia ada dalam Data Glue AWS anda Katalog.

Apakah Katalog Data Glue?

Katalog Data Glue AWS ialah indeks lokasi data anda, skema, dan metrik masa jalan. Anda memerlukan maklumat ini untuk mencipta dan pantau kerja ekstrak, ubah dan muat (ETL) anda. 

Mengapa menggunakan Amazon Athena dan AWS Glue?

Sekarang kita telah membincangkan asas Amazon Athena, AWS Glue dan AWS Perangkak gam, mari bercakap tentangnya dengan lebih mendalam.

4 kes penggunaan Amazon Athena utama

Amazon Athena menyediakan cara yang mudah dan fleksibel untuk menganalisis petabait data tepat di tempat mereka tinggal. Sebagai contoh, Athena boleh menganalisis data atau bina aplikasi daripada Perkhidmatan Penyimpanan Mudah Amazon (S3) tasik data dan 30 sumber data, termasuk sumber data di premis atau sistem awan lain menggunakan SQL atau Python. 

Terdapat empat kes penggunaan Amazon Athena utama:

1. Jalankan pertanyaan pada S3, pusat data di premis atau pada awan lain 

2. Sediakan data untuk model pembelajaran mesin

3. Gunakan model pembelajaran mesin dalam pertanyaan SQL atau Python untuk memudahkan tugas yang kompleks, seperti pengesanan anomali, kohort pelanggan analisis dan ramalan jualan

4. Lakukan analitik berbilang awan (seperti pertanyaan data dalam Azure Sinaps Analitis dan kemudian memvisualisasikan hasil dengan Amazon QuickSight)

3 kes penggunaan Gam AWS kunci

Sekarang kita telah membincangkan Amazon Athena, mari bercakap tentang AWS Glue. Anda boleh melakukan beberapa perkara berbeza dengan AWS Glue. 

Pertama, anda boleh menggunakan enjin penyepaduan data AWS Glue, yang membolehkan anda untuk mendapatkan data daripada beberapa sumber yang berbeza. Ini termasuk Amazon S3, Amazon DynamoDB, dan Amazon RDS, serta pangkalan data yang berjalan di Amazon EC2 (yang disepadukan dengan studio AWS Glue) dan AWS Glue untuk Ray, Python Shell, dan Apache Spark. 

Setelah data diantara muka dan ditapis supaya ia boleh berinteraksi dengannya tempat untuk memuatkan atau membuat data, senarai ini berkembang untuk memasukkan data daripada tempat seperti Amazon Redshift, tasik data dan gudang data.

Anda juga boleh menggunakan AWS Glue untuk menjalankan kerja ETL anda. Pekerjaan ini membolehkan anda untuk mengasingkan data pelanggan, melindungi data pelanggan dalam transit dan di berehat, dan akses data pelanggan hanya seperti yang diperlukan sebagai tindak balas kepada pelanggan permintaan. Apabila menyediakan pekerjaan ETL, anda hanya perlu menyediakan sumber data input dan sasaran data output dalam peribadi maya anda awan.

Cara terakhir anda boleh menggunakan AWS Glue adalah melalui katalog data untuk cepat menemui dan mencari beberapa set data AWS tanpa mengalihkan data. Setelah data dikatalogkan, ia segera tersedia untuk carian dan pertanyaan menggunakan Amazon Athena, Amazon EMR dan Amazon Redshift Spektrum.

Bermula dengan AWS Glue: Cara mendapatkan data daripada AWS Glue ke Amazon Athena

Jadi, bagaimanakah anda boleh mendapatkan data daripada AWS Glue ke dalam Amazon Athena? Ikut langkah ini:

1. Mulakan dengan memuat naik data ke sumber data. Yang paling popular pilihan ialah baldi S3, tetapi jadual DynamoDB dan Amazon RedShift juga pilihan. 

2. Pilih sumber data anda dan buat pengelas jika perlu. Pengelas membaca data dan menjana skema jika ia mengenali format. Anda boleh membuat pengelas tersuai untuk dilihat jenis data yang berbeza. 

3. Buat perangkak. 

4. Sediakan nama untuk perangkak, kemudian pilih sumber data anda dan tambahkan sebarang pengelas tersuai untuk memastikan AWS Glue mengenali data dengan betul.

5. Sediakan peranan Pengurusan Identiti dan Akses (IAM) untuk memastikan perangkak dapat menjalankan proses dengan betul.

6. Buat pangkalan data yang akan menyimpan set data. Tetapkan masa dan kekerapan perangkak berfungsi untuk memastikan data anda sentiasa segar dan terkini.

7. Jalankan perangkak. Proses ini boleh mengambil sedikit masa bergantung kepada betapa besarnya set data. Setelah perangkak berjaya dijalankan, anda akan melakukannya lihat perubahan pada jadual dalam pangkalan data.

Sekarang anda telah menyelesaikan proses ini, anda boleh melompat ke Amazon Athena dan jalankan pertanyaan yang anda perlukan untuk menapis data dan dapatkan hasil yang anda cari.