0

Me encuentro trabajando con PySpark y usando los DataFrame de Spark en el que cada row del DataFrame contiene esta información (que va a ser siempre la misma), aunque puedan variar los valores que hay dentro de "tree", "grass" y "weed".

{tree={in_season=true, index={color=null, category=null, value=null}, display_name=Tree, data_available=false}, weed={in_season=false, index={color=null, category=null, value=null}, display_name=Weed, data_available=false}, grass={in_season=true, index={color=null, category=null, value=null}, display_name=Grass, data_available=false}}

Lo que estoy intentando hacer es quedarme con algunos campos, como por ejemplo, de "tree", quedarme con los campos "in_season", "index -> value", "display_name", entre otros.

El dataframe tiene el siguiente esquema:

df2.printSchema()
  • data: map (nullable = true)
    • key: string
    • value: string (valueContainsNull = true)
  • types: string (nullable = true)
  • plants: string (nullable = true)

Lo que he intentado hasta ahora es usar StructType() de la siguiente manera:

schema = ArrayType(
    StructType([StructField("tree", StringType())]))

df3 = df2.withColumn("tree", from_json(df2.types, schema))

El resultado que estoy obteniendo es NULL por cada row del dataframe.

Hay alguna otra manera de hacer esto, o hay que hacerlo con el StructType de otra manera?

Muchas gracias de antemano por la ayuda!

3
  • 1
    Hola! Probaste con explode: sparkbyexamples.com/pyspark/… - Si podes agregar un Data Frame de ejemplo sería genial. Commented el 23 may. 2020 a las 18:31
  • @jqc Muchas gracias por lo del explode. No lo conocía, y viendo que es lo que hacia explode y cambiando el formato de los datos he podido sacarlo.
    – Ares777
    Commented el 24 may. 2020 a las 12:30
  • Ok. Te lo pongo en la respueta para que quede. Dsp aceptala si podés. Commented el 24 may. 2020 a las 15:32

1 respuesta 1

0

Para tu problema es posible que te sirva utilizar explode. Link al artículo que lo trata: PySpark explode array and map columns to rows

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.