首頁 > 後端開發 > Python教學 > 如何使用 Numpy 廣播按 Pandas 中的範圍條件合併資料幀?

如何使用 Numpy 廣播按 Pandas 中的範圍條件合併資料幀?

Mary-Kate Olsen
發布: 2024-10-31 09:33:01
原創
349 人瀏覽過

How to Merge DataFrames by Range Condition in Pandas Using Numpy Broadcasting?

在 Pandas 中按範圍條件合併資料幀

在資料分析領域,組合來自多個來源的資料是一項常見任務。 Pandas 是一個強大的資料操作 Python 函式庫,提供了各種合併資料幀的方法,包括範圍條件。本文深入研究了這個特定場景,並提出了使用 numpy 廣播的有效解決方案。

問題描述

給定兩個資料幀A 和B,目標是執行內部聯接,其中資料幀A 中的值落在資料幀B 中定義的特定範圍內。傳統上,這可以使用SQL 語法來實現:

<code class="sql">SELECT *
FROM A, B
WHERE A_value BETWEEN B_low AND B_high</code>
登入後複製

現有解決方案

Pandas 提供了一種使用虛擬列的解決方法,合併虛擬列,然後過濾掉不需要的行。然而,這種方法的計算量很大。或者,可以對 B 上的每個 A 值套用搜尋函數,但這種方法也有缺點。

Numpy 廣播:一種實用方法

Numpy 廣播提供了一種優雅高效的解決方案。該技術利用向量化對整個數組而不是單一元素執行計算。要實現所需的合併:

  1. 從資料幀 A 和 B 中提取值。
  2. 使用numpy 廣播建立布林遮罩:

    • A_value >= B_low
    • A_value
  3. A_value
  4. 使用numpy 的np.where 來定位mask 為True 的索引。
連接根據識別的索引從資料幀 A 和 B 中取得對應的行。

這種方法利用廣播對整個 A 資料幀執行範圍比較,顯著減少計算時間和複雜性。

示例

<code class="python">A = pd.DataFrame(dict(
    A_id=range(10),
    A_value=range(5, 105, 10)
))
B = pd.DataFrame(dict(
    B_id=range(5),
    B_low=[0, 30, 30, 46, 84],
    B_high=[10, 40, 50, 54, 84]
))</code>
登入後複製
考慮以下數據幀:

輸出:
   A_id  A_value  B_high  B_id  B_low
0     0        5      10     0      0
1     3       35      40     1     30
2     3       35      50     2     30
3     4       45      50     2     30
登入後複製

此輸出演示了成功根據指定範圍條件合併資料幀A 和B。

其他注意事項

要執行左連接,請在輸出中包含資料幀 A 中不匹配的行。這可以透過使用 numpy 的 ~np.in1d 來識別不匹配的行並將其附加到結果中來實現。

總之,numpy 廣播提供了一種基於範圍條件合併資料幀的強大且高效的方法。其向量化功能提高了效能,使其成為大型資料集的理想解決方案。

以上是如何使用 Numpy 廣播按 Pandas 中的範圍條件合併資料幀?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板