ホームページ > バックエンド開発 > Python チュートリアル > PySpark でベクター列を複数の列に分割するにはどうすればよいですか?

PySpark でベクター列を複数の列に分割するにはどうすればよいですか?

Susan Sarandon
リリース: 2024-11-01 01:06:01
オリジナル
1081 人が閲覧しました

How to Split a Vector Column into Columns in PySpark?

PySpark を使用したベクトル列の列への分割

ワードとベクトルの 2 つの列を持つ PySpark データフレームがあります。ベクトルは VectorUDT 列です。 。目標は、ベクトル列を複数の列に分割し、それぞれがベクトルの 1 次元を表すことです。

解決策:

Spark >= 3.0.0

Spark バージョン 3.0.0 以降では、vector_to_array 関数を使用してこれを実現できます。

<code class="python">from pyspark.ml.functions import vector_to_array

(df
    .withColumn("xs", vector_to_array("vector")))
    .select(["word"] + [col("xs")[i] for i in range(3)]))</code>
ログイン後にコピー

これにより、word と xs[0] という名前の新しい列が作成されます。 xs[1]、xs[2] など、元のベクトルの値を表します。

Spark < 3.0.0

古い Spark バージョンの場合は、次のアプローチに従うことができます:

RDD に変換して抽出

<code class="python">from pyspark.ml.linalg import Vectors

df = sc.parallelize([
    ("assert", Vectors.dense([1, 2, 3])),
    ("require", Vectors.sparse(3, {1: 2}))
]).toDF(["word", "vector"])

def extract(row):
    return (row.word, ) + tuple(row.vector.toArray().tolist())

df.rdd.map(extract).toDF(["word"])  # Vector values will be named _2, _3, ...</code>
ログイン後にコピー

UDF を作成します:

<code class="python">from pyspark.sql.functions import udf, col
from pyspark.sql.types import ArrayType, DoubleType

def to_array(col):
    def to_array_(v):
        return v.toArray().tolist()
    # Important: asNondeterministic requires Spark 2.3 or later
    # It can be safely removed i.e.
    # return udf(to_array_, ArrayType(DoubleType()))(col)
    # but at the cost of decreased performance
    return udf(to_array_, ArrayType(DoubleType())).asNondeterministic()(col)

(df
    .withColumn("xs", to_array(col("vector")))
    .select(["word"] + [col("xs")[i] for i in range(3)]))</code>
ログイン後にコピー

どちらのアプローチでも、元のベクトルの次元ごとに個別の列を持つ DataFrame が作成され、データの操作が容易になります。

以上がPySpark でベクター列を複数の列に分割するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ソース:php.cn
このウェブサイトの声明
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
著者別の最新記事
人気のチュートリアル
詳細>
最新のダウンロード
詳細>
ウェブエフェクト
公式サイト
サイト素材
フロントエンドテンプレート