將 PySpark 字串轉換為日期格式
您有一個 PySpark DataFrame,其中包含 MM-dd-yyyy格式的字串列,並且您需要將其轉換為日期
解決方案:
要將PySpark 字串列轉換為日期列,可以使用to_date 函數。但是,如果您使用的是較舊版本的Spark (
Spark 的替代方法2.2:
使用unix_timestamp 和from_unixtime函數的組合:from pyspark.sql.functions import unix_timestamp, from_unixtime # Example DataFrame with string dates df = spark.createDataFrame( [("11/25/1991",), ("11/24/1991",), ("11/30/1991",)], ["date_str"] ) # Convert to timestamps df2 = df.select( "date_str", from_unixtime(unix_timestamp("date_str", "MM/dd/yyy")).alias("date") )
以上是如何將 PySpark 字串列轉換為日期列?的詳細內容。更多資訊請關注PHP中文網其他相關文章!