Wie erstelle ich Spalten basierend auf anderen DataFrame-Zeilenfiltern?-Python-Tutorial-php.cn

Wie erstelle ich Spalten basierend auf anderen DataFrame-Zeilenfiltern?

WBOY

Freigeben： 2024-02-09 13:30:04

nach vorne

581 Leute haben es durchsucht

如何基于其他 DataFrame 行过滤器创建列？

Frageninhalt

Ich habe einen Lazyframe namens „hourly_data“, der eine stündliche Datetime-Spalte namens „time“ enthält. Ich habe auch einen Datenrahmen namens „future_periods“, der zwei Datums-/Uhrzeitspalten mit den Namen „Start“ (Startdatum/Uhrzeit des zukünftigen Zeitraums) und „End“ (Endzeit des zukünftigen Zeitraums) enthält. Wichtig ist, dass sich diese zukünftigen Zeiträume nicht überschneiden.

Ich möchte eine Spalte mit dem Namen „Periode“ für den Lazyframe „hourly_data“ erstellen. Sie sollte einen int-Wert haben, der darauf basiert, welcher Zeitraum (future_periods-Datenrahmenzeile, von 0 bis 9, wenn es 10 Perioden gibt) der Zeitspaltenwert von „hourly_data“ ist. Der Wert liegt zwischen dem Start- und Endspaltenwerte von future_periods.

Ich habe Folgendes versucht:

periods = pl.series(range(future_periods.height))
hourly_data = hourly_data.with_columns(
    (
        pl.when(((future_periods.get_column('start') <= pl.col('time')) & (pl.col('time') <= future_periods.get_column('end'))).any())
        .then(periods.filter(pl.series((future_periods.get_column('start') <= pl.col('real_time')) & (pl.col('real_time') <= future_periods.get_column('end')))).to_list()[0])
        .otherwise(none)
    ).alias('period')
)

Nach dem Login kopieren

Aber das gibt mir den Fehler: Typfehler: Aufruf des Serienkonstruktors mit nicht unterstütztem Typ „expr“ für valuesArgument

Was ich erreichen möchte: Eingabe:

hourly_data:
┌────────────────────┐
│ time               │
│ ---                │
│ datetime           │
╞════════════════════╡
│ 2024-01-01 00:00:00│
│ 2024-01-01 01:00:00│
│ 2024-01-01 02:00:00│
│         ...        │
│ 2024-03-31 23:00:00│
│ 2024-04-01 00:00:00│
│ 2024-04-01 01:00:00│
│         ...        │
│ 2024-06-01 00:00:00│
└────────────────────┘
future_periods:
┌─────────────────────────┬───────────────────────┐
│ start                   ┆ end                   │
│ ---                     ┆ ---                   │
│ datetime                ┆ datetime              │
╞═════════════════════════╪═══════════════════════╡
│ 2024-01-01 00:00:00     ┆ 2024-01-31 23:00:00   │
│ 2024-02-01 00:00:00     ┆ 2024-02-28 23:00:00   │
│ 2024-03-01 00:00:00     ┆ 2024-03-31 23:00:00   │
│ 2024-04-01 00:00:00     ┆ 2024-05-31 23:00:00   │
└─────────────────────────┴───────────────────────┘

Nach dem Login kopieren

Ausgabe:

hourly_data:
┌─────────────────────────┬────────┐
│ time                    ┆ period │
│ ---                     ┆ ---    │
│ datetime                ┆ int    │
╞═════════════════════════╪════════╡
│ 2024-01-01 00:00:00     ┆ 0      │
│ 2024-01-01 01:00:00     ┆ 0      │
│ 2024-01-01 02:00:00     ┆ 0      │
│          ...            ┆ ...    │
│ 2024-03-31 23:00:00     ┆ 2      │
│ 2024-04-01 00:00:00     ┆ 3      │
│ 2024-04-01 01:00:00     ┆ 3      │
│          ...            ┆ ...    │
│ 2024-06-01 00:00:00     ┆ None   │
└─────────────────────────┴────────┘

Nach dem Login kopieren

Richtige Antwort

Im Allgemeinen handelt es sich um eine Ungleichheitsverknüpfung oder in Ihrem Fall um eine Bereichsverknüpfung. Hier ist eine Möglichkeit, dies zu tun. Beginnen wir mit der Erstellung einiger Beispieldaten:

hourly_data = pl.dataframe({
    "time": ['2023-01-01 14:00','2023-01-02 09:00', '2023-01-04 11:00']
}).lazy()

future_periods = pl.dataframe({
    "id": [1,2,3,4],
    "start": ['2023-01-01 11:00','2023-01-02 10:00', '2023-01-03 15:00', '2023-01-04 10:00'],
    "end": ['2023-01-01 16:00','2023-01-02 11:00', '2023-01-03 18:00', '2023-01-04 15:00']
}).lazy()

┌──────────────────┬──────┐
│ time             ┆ data │
│ ---              ┆ ---  │
│ str              ┆ str  │
╞══════════════════╪══════╡
│ 2023-01-01 14:00 ┆ a    │
│ 2023-01-02 09:00 ┆ b    │
│ 2023-01-04 11:00 ┆ c    │
└──────────────────┴──────┘ 
┌─────┬──────────────────┬──────────────────┐
│ id  ┆ start            ┆ end              │
│ --- ┆ ---              ┆ ---              │
│ i64 ┆ str              ┆ str              │
╞═════╪══════════════════╪══════════════════╡
│ 1   ┆ 2023-01-01 11:00 ┆ 2023-01-01 16:00 │
│ 2   ┆ 2023-01-02 10:00 ┆ 2023-01-02 11:00 │
│ 3   ┆ 2023-01-03 15:00 ┆ 2023-01-03 18:00 │
│ 4   ┆ 2023-01-04 10:00 ┆ 2023-01-04 15:00 │
└─────┴──────────────────┴──────────────────┘

Nach dem Login kopieren

Jetzt können Sie es in zwei Schritten tun – berechnen Sie zunächst die Verbindungen zwischen time 和未来时段 id:

time_periods = (
   hourly_data
       .join(future_periods, how="cross")
       .filter(
           pl.col("time") > pl.col("start"),
           pl.col("time") < pl.col("end")
        ).select(["time","id"])
)

┌──────────────────┬─────┐
│ time             ┆ id  │
│ ---              ┆ --- │
│ str              ┆ i64 │
╞══════════════════╪═════╡
│ 2023-01-01 14:00 ┆ 1   │
│ 2023-01-04 11:00 ┆ 4   │
└──────────────────┴─────┘

Nach dem Login kopieren

Sie können es dann mit dem ursprünglichen Datenrahmen verbinden:

hourly_data.join(time_periods, how="left", on="time").collect()

┌──────────────────┬──────┬──────┐
│ time             ┆ data ┆ id   │
│ ---              ┆ ---  ┆ ---  │
│ str              ┆ str  ┆ i64  │
╞══════════════════╪══════╪══════╡
│ 2023-01-01 14:00 ┆ a    ┆ 1    │
│ 2023-01-02 09:00 ┆ b    ┆ null │
│ 2023-01-04 11:00 ┆ c    ┆ 4    │
└──────────────────┴──────┴──────┘

Nach dem Login kopieren

Eine andere Möglichkeit, dies zu tun, könnte die Verwendung der duckdb 感谢 与 polars Integration sein:

import duckdb
import polars as pl

duckdb.sql("""
    select
        h.time, h.data, p.id
    from hourly_data as h
        left join future_periods as p on
            p.start < h.time and
            p.end > h.time
""").pl()

┌──────────────────┬──────┬──────┐
│ time             ┆ data ┆ id   │
│ ---              ┆ ---  ┆ ---  │
│ str              ┆ str  ┆ i64  │
╞══════════════════╪══════╪══════╡
│ 2023-01-01 14:00 ┆ A    ┆ 1    │
│ 2023-01-04 11:00 ┆ C    ┆ 4    │
│ 2023-01-02 09:00 ┆ B    ┆ null │
└──────────────────┴──────┴──────┘

Nach dem Login kopieren

Das obige ist der detaillierte Inhalt vonWie erstelle ich Spalten basierend auf anderen DataFrame-Zeilenfiltern?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!