Me encuentro trabajando con PySpark y usando los DataFrame de Spark en el que cada row del DataFrame contiene esta información (que va a ser siempre la misma), aunque puedan variar los valores que hay dentro de "tree", "grass" y "weed".
{tree={in_season=true, index={color=null, category=null, value=null}, display_name=Tree, data_available=false}, weed={in_season=false, index={color=null, category=null, value=null}, display_name=Weed, data_available=false}, grass={in_season=true, index={color=null, category=null, value=null}, display_name=Grass, data_available=false}}
Lo que estoy intentando hacer es quedarme con algunos campos, como por ejemplo, de "tree", quedarme con los campos "in_season", "index -> value", "display_name", entre otros.
El dataframe tiene el siguiente esquema:
df2.printSchema()
- data: map (nullable = true)
- key: string
- value: string (valueContainsNull = true)
- types: string (nullable = true)
- plants: string (nullable = true)
Lo que he intentado hasta ahora es usar StructType() de la siguiente manera:
schema = ArrayType(
StructType([StructField("tree", StringType())]))
df3 = df2.withColumn("tree", from_json(df2.types, schema))
El resultado que estoy obteniendo es NULL por cada row del dataframe.
Hay alguna otra manera de hacer esto, o hay que hacerlo con el StructType de otra manera?
Muchas gracias de antemano por la ayuda!