Polars Delta Lake: Azure-Funktion vs. Laptop bei Small Data

Haben Sie sich jemals gefragt, wie die Leistung von Polars Deltalake auf Azure im Vergleich zu einem Laptop der Verbraucherklasse abschneidet?
NEIN? Nun ja, das habe ich. Wenn ich Ihre Neugier geweckt habe, lesen Sie weiter.

Hier sind die Kandidaten

1. EliteBook 840 G10, AMD Ryzen 7840U, 8 Kerne, 16 Threads, 64 GB RAM
2. Azure Function läuft auf einem Linux B3 SKU App Service Plan (4 Kerne, 7 GB RAM)
   • mit Standard-ADLS2-Speicher
   • mit Premium-ADLS2-Speicher

Eine vollständige Liste der verfügbaren App-Service-Pläne finden Sie unter „Preise“.

Testaufbau

Der Test misst drei Szenarien

1. Delta-Tabelle erstellen
2. In Delta-Tabelle schreiben
3. Aus Delta-Tabelle lesen

Der Code wird über REST-API-Endpunkte ausgeführt:

1. polars_azure_create: https://function-hekori-learning-002.azurewebsites.net/api/polars/azure/create
2. polars_azure_read: https://function-hekori-learning-002.azurewebsites.net/api/polars/azure/read
3. polars_azure_write: https://function-hekori-learning-002.azurewebsites.net/api/polars/azure/write
4. polars_local_create: http://localhost:7071/api/polars/local/create
5. polars_local_read: http://localhost:7071/api/polars/local/read
6. polars_local_write: http://localhost:7071/api/polars/local/write

Auf dem HP EliteBook habe ich func start verwendet, um https://localhost:7071 zu starten.
Befolgen Sie zum Veröffentlichen in Azure I die Anweisungen von https://learn.microsoft.com/en-us/azure/azure-functions/create-first-function-cli-python
die nötige Entwicklungsumgebung einzurichten. Dadurch konnte ich die Funktion über
veröffentlichen func Azure functionapp veröffentlichen function-hekori-learning-002.

Ich habe Terraform verwendet, um die Azure-Ressourcen in der Region Nordeuropa einzurichten.

Hier ist ein Codeausschnitt, der den Code zeigt, der beim Besuch von https://function-hekori-learning-002.azurewebsites.net/api/polars/azure/read ausgeführt wird

@app.route(route="polars/azure/read", auth_level=func.AuthLevel.ANONYMOUS)
def polars_azure_read(req: func.HttpRequest) -> func.HttpResponse:
    logging.info('Reading from delta table')

    tic = time.time()
    df = pl.read_delta(AZURE_STORAGE_PATH, storage_options=storage_options
                       )

    df = df.sql(
        "select sum(value) as sum, avg(value) as mean, count() as count, name from self group by name order by sum asc"
    )

    toc = time.time()

    logging.info(f"Elapsed time {toc - tic:.2f} seconds")

    return func.HttpResponse(
        "Success from polars." + str(df) + '\n' + "Elapsed time " + str(toc - tic) + " seconds",
        status_code=200
    )

Testergebnisse

Wie man sieht, ist das HP EliteBook in allen Szenarien etwa eine Größenordnung schneller.

Interpretation

Das ist meine persönliche Interpretation

1. Die Azure-Funktionszeiten reichen für synchrone Aufgaben aus. Z. B. zur Verwendung in POST-Anfragen, bei denen der Client eine Antwort in < erwartet. 2 Sekunden.
2. Wenn Sie über kleine Datenmengen verfügen und die beste Leistung wünschen, sollten Sie in Betracht ziehen, Polars auf Bare-Metal oder einer virtuellen Maschine mit geringer E/A-Latenz auszuführen.

Bitte beachten Sie, dass die Delta-Tabelle eine kleine Größe von 3 Commits und 2 Parkettdateien hat. Das heißt, die Laufzeit misst effektiv den Overhead des Dateizugriffs von der Recheneinheit.

Wenn Sie diesen Artikel ❤️ und mehr Benchmark-Ergebnisse mit größeren Datensätzen für die Out-of-Core-Verarbeitung sehen möchten, geben Sie diesem Artikel ein ?
und abonnieren? zu meinem Kanal ???.

Das obige ist der detaillierte Inhalt vonPolars Delta Lake: Azure-Funktion vs. Laptop bei Small Data. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!