在資料分析領域,組合來自多個來源的資料是一項常見任務。 Pandas 是一個強大的資料操作 Python 函式庫,提供了各種合併資料幀的方法,包括範圍條件。本文深入研究了這個特定場景,並提出了使用 numpy 廣播的有效解決方案。
問題描述
給定兩個資料幀A 和B,目標是執行內部聯接,其中資料幀A 中的值落在資料幀B 中定義的特定範圍內。傳統上,這可以使用SQL 語法來實現:
<code class="sql">SELECT * FROM A, B WHERE A_value BETWEEN B_low AND B_high</code>
現有解決方案
Pandas 提供了一種使用虛擬列的解決方法,合併虛擬列,然後過濾掉不需要的行。然而,這種方法的計算量很大。或者,可以對 B 上的每個 A 值套用搜尋函數,但這種方法也有缺點。
Numpy 廣播:一種實用方法
Numpy 廣播提供了一種優雅高效的解決方案。該技術利用向量化對整個數組而不是單一元素執行計算。要實現所需的合併:
使用numpy 廣播建立布林遮罩:
這種方法利用廣播對整個 A 資料幀執行範圍比較,顯著減少計算時間和複雜性。
示例<code class="python">A = pd.DataFrame(dict( A_id=range(10), A_value=range(5, 105, 10) )) B = pd.DataFrame(dict( B_id=range(5), B_low=[0, 30, 30, 46, 84], B_high=[10, 40, 50, 54, 84] ))</code>
輸出:
A_id A_value B_high B_id B_low 0 0 5 10 0 0 1 3 35 40 1 30 2 3 35 50 2 30 3 4 45 50 2 30
此輸出演示了成功根據指定範圍條件合併資料幀A 和B。
其他注意事項要執行左連接,請在輸出中包含資料幀 A 中不匹配的行。這可以透過使用 numpy 的 ~np.in1d 來識別不匹配的行並將其附加到結果中來實現。
總之,numpy 廣播提供了一種基於範圍條件合併資料幀的強大且高效的方法。其向量化功能提高了效能,使其成為大型資料集的理想解決方案。以上是如何使用 Numpy 廣播按 Pandas 中的範圍條件合併資料幀?的詳細內容。更多資訊請關注PHP中文網其他相關文章!