So bauen Sie eine moderne Datenplattform auf der kostenlosen Stufe der Google Cloud Platform auf

Ich habe auf Medium.com eine Reihe von sieben kostenlosen öffentlichen Artikeln mit dem Titel „Wie man eine moderne Datenplattform auf der kostenlosen Stufe der Google Cloud Platform aufbaut“ veröffentlicht. Der Leitartikel ist verfügbar unter: https://medium.com/@markwkiehl/building-a-data-platform-on-gcp-0427500f62e8

Teil eins „Aufbau einer Datenplattform auf GCP“ definiert die funktionalen Anforderungen und beschreibt detailliert, wie die erforderliche Software installiert wird.

Teil zwei „GCP-Infrastruktur und Authentifizierung“ erläuterte, wie Sie die Google Application Default Credentials (ADC) verwenden, um ein benutzerverwaltetes Dienstkonto zu authentifizieren.

Teil drei „Google Cloud Pub/Sub Messaging“ zeigte, wie man mit einem Python-Skript den Google Pub/Sub Messaging-Dienst generiert und abonniert.

Teil 4 „Containerisierung mit Docker“ behandelte, wie man ein lokales Docker-Image für ein Python-Skript erstellt, es lokal ausführt und es dann in die Google Artifact Registry (Repository) überträgt.

Teil fünf „Google Cloud Run Jobs & Scheduler“ zeigte, wie man Google Cloud Run Jobs und Cloud Scheduler Jobs mithilfe der Google CLI konfiguriert, um ein in Google Artifact Registry gespeichertes Python-Skript in einem bestimmten Intervall aus einer beliebigen Google-Region auszuführen.

Teil sechs „Google BigQuery Cloud Database“ richtete mithilfe der Google CLI einen Google BigQuery-Datensatz und eine Google BigQuery-Tabelle ein. Anschließend wurde ein Python-Skript verwendet, um Daten mit SQL zu schreiben und abzufragen.

Teil sieben „Google Cloud Analytics“ untersuchte, wie man Daten aus einer Google BigQuery-Tabelle extrahiert, sie in einen Pandas DataFrame lädt und mühelos Analysen und Visualisierungen durchführt – alles über ein Python-Skript.

Das obige ist der detaillierte Inhalt vonSo bauen Sie eine moderne Datenplattform auf der kostenlosen Stufe der Google Cloud Platform auf. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!