Spark SQL支援查詢資料框中儲存的複雜類型，例如對應和陣列。本指南概述了存取和操作嵌套資料結構的語法和方法。
<code>df.select($"arrayColumn".getItem(index)).show</code>
其中，index表示陣列中所需元素的位置。
<code>sqlContext.sql("SELECT arrayColumn[index] FROM df").show</code><code>val get_ith = udf((xs: Seq[Int], i: Int) => Try(xs(i)).toOption) df.select(get_ith($"arrayColumn", lit(index))).show</code>
Spark 2.4 引入了內建函數，例如filter、transform、aggregate和array_*函數，這些函數可用於操作數組：
<code>df.selectExpr("filter(arrayColumn, x -> x % 2 == 0) arrayColumn_even").show</code><code>df.selectExpr("transform(arrayColumn, x -> x + 1) arrayColumn_inc").show</code><code>df.selectExpr("aggregate(arrayColumn, 0, (acc, x) -> acc + x, acc -> acc) arrayColumn_sum").show</code><code>df.select($"mapColumn".getField("key")).show</code>其中，key表示映射中所需鍵的名稱。
<code>sqlContext.sql("SELECT mapColumn['key'] FROM df").show</code><code>df.select($"mapColumn.key").show</code>
<code>val get_field = udf((kvs: Map[String, String], k: String) => kvs.get(k))
df.select(get_field($"mapColumn", lit("key"))).show</code><code>df.select($"structColumn.field").show</code>
其中，field表示結構體中所需欄位的名稱。
可以使用點語法、欄位名稱和Column方法的組合來存取嵌套結構體陣列中的欄位：
<code>df.select($"nestedArrayColumn.foo").show</code>
<code>df.select($"nestedArrayColumn.vals".getItem(index).getItem(innerIndex)).show</code>
以上是如何使用巢狀資料結構（映射、陣列、結構）查詢 Spark SQL DataFrame？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
