如何將 AWS Glue 爬網程序與 Amazon Athena 結合使用

什麼是AWS Glue？

AWS Glue 是一種無服務器託管服務，可讓您發現、準備、 移動和集成來自多個來源的數據。作為數據集成服務，AWS Glue 讓您能夠集中管理數據位置，而無需管理基礎設施。

什麼是AWS Glue 爬網程序？

Glue爬蟲是掃描數據的自動化數據發現工具自動對其中的數據進行分類、分組和編目。 然後，它會在您的AWS Glue 數據中創建新表或更新現有表目錄。

什麼是Glue 數據目錄？

AWS Glue 數據目錄是數據位置的索引， 架構和運行時指標。您需要此信息來創建和監控您的提取、轉換和加載(ETL) 作業。

為什麼使用Amazon Athena 和AWS Glue？

現在我們已經介紹了Amazon Athena、AWS Glue 和AWS 的基礎知識膠水爬蟲，讓我們更深入地討論一下它們。

4 個主要Amazon Athena 使用案例

Amazon Athena 提供了一種簡化、靈活的分析方法PB 級數據就在它們所在的地方。例如，Athena 可以分析從Amazon Simple Storage Service (S3) 獲取數據或構建應用程序數據湖和30 個數據源，包括本地數據源或使用SQL 或Python 的其他雲系統。

Amazon Athena 有四種主要用例：

1. 在S3、本地數據中心或其他雲上運行查詢

2. 為機器學習模型準備數據

3. 在SQL 查詢或Python 中使用機器學習模型簡化複雜的任務，例如異常檢測、客戶群體分析和銷售預測

4. 執行多雲分析（例如在Azure 中查詢數據） Synapse Analytics，然後通過Amazon 將結果可視化QuickSight)

3 個關鍵AWS Glue 使用案例

現在我們已經介紹了Amazon Athena，接下來我們來談談AWS Glue。您可以使用AWS Glue 執行一些不同的操作。

首先，您可以使用AWS Glue 數據集成引擎，它允許您從幾個不同的來源獲取數據。這包括亞馬遜S3、 Amazon DynamoDB 和Amazon RDS 以及在Amazon 上運行的數據庫EC2（與AWS Glue 工作室集成）和AWS Glue for Ray、Python 殼牌和阿帕奇火花。

一旦數據被連接和過濾，它就可以與加載或創建數據的位置，此列表擴展為包含來自以下位置的數據Amazon Redshift、數據湖和數據倉庫等地方。

您還可以使用AWS Glue 運行ETL 作業。這些工作可以讓你隔離客戶數據，保護傳輸中和現場的客戶數據休息，僅在響應客戶需要時訪問客戶數據請求。當配置ETL 作業時，您需要做的就是提供虛擬專用中的輸入數據源和輸出數據目標雲。

使用AWS Glue 的最後一種方法是通過數據目錄快速發現和搜索多個AWS 數據集，而無需移動數據。數據編目後，可立即用於搜索並使用Amazon Athena、Amazon EMR 和Amazon Redshift 進行查詢頻譜。

AWS Glue 入門：如何將數據從AWS Glue 獲取到Amazon Athena

那麼，如何將數據從AWS Glue 獲取到Amazon Athena 中？請按照以下步驟操作：

1. 首先將數據上傳到數據源。最受歡迎的選項是S3 存儲桶，但DynamoDB 表和Amazon RedShift 也是選項。

2. 選擇您的數據源並創建一個分類器，如果必要的。分類器讀取數據並生成模式（如果滿足） 識別格式。您可以創建自定義分類器來查看不同的數據類型。

3. 創建一個爬蟲。

4. 設置爬網程序的名稱，然後選擇您的數據源並添加任何自定義分類器以確保AWS Glue 識別數據正確。

5. 設置身份和訪問管理(IAM) 角色以確保爬網程序可以正確運行流程。

6. 創建將保存數據集的數據庫。設置爬網程序的運行時間和頻率，以使您的數據保持最新狀態。

7. 運行爬網程序。此過程可能需要一段時間，具體取決於數據集有多大。爬蟲成功運行後，您將查看數據庫中表的更改。

現在您已經完成了此過程，您可以跳轉到Amazon Athena 並運行您需要的查詢來過濾數據並獲取您正在尋找的結果。