為什麼 SQL 連接中的 UDF 有時會產生笛卡爾積而不是預期的連接？

為什麼UDF 會導致SQL 查詢中的笛卡爾積

使用SQL 時，使用者定義函數(UDF) 可能會引入意外的性能問題。這在連接操作中尤其明顯，其中 UDF 可能導致笛卡爾積，而不是所需的完全外部連接。

笛卡爾積的原因

使用 UDF 是必要的具有潛在無限域和非確定性行為的任意函數的評估。要確定這些函數的值，系統必須考慮所有可能的參數組合，從而產生笛卡爾積。

範例

考慮給定中提供的SQL 查詢Databricks-問題：

-- Query 1: Join without UDF
SELECT col1, col2 FROM table1 AS t1 JOIN table2 AS t2 ON t1.foo = t2.bar;

-- Query 2: Join with UDF
SELECT col1, col2 FROM table1 AS t1 JOIN table2 AS t2 ON equals(t1.foo, t2.bar);

在查詢1 中，簡單的相等條件允許基於資料混洗在foo 和bar 欄位上，產生預期的結果。然而，在查詢 2 中，使用 equals UDF 需要評估所有可能的對組合的函數，從而產生笛卡爾積。

解決方案

強制使用外部如果不修改 Spark SQL 引擎，通常不可能透過笛卡爾積進行連接。然而，優化 UDF 本身以減少評估次數可以緩解部分效能下降。

以上是為什麼 SQL 連接中的 UDF 有時會產生笛卡爾積而不是預期的連接？的詳細內容。更多資訊請關注PHP中文網其他相關文章！