0

Estoy empezando a trabajar con Dataset,y en algunos compañeros comentan que para el performance de una operación es mejor utilizar un select con una subconsulta y agregar un alias, que utilizar un withcolumn.

Entiendo que al agregar un withcolumn estoy generando un dataframe por cada vez que lo use, lo cual puede generar perdidas de performance.

Agradezco sus respuestas.

Gracias

1 respuesta 1

-1

No entiendo muy bien la pregunta,

  • Si te refieres a la select usando .sql por debajo entraría catalyst y tendría que traducir la sql.

  • Si te refieres a la performance de los Dataset vs los DataFrame spark tiene que serializar y convertir todos los datos a tipos de la JVM.

  • Si te refieres a usar una UDF, intenta evitarlas siempre que puedas.

  • Agregar columnas no tiene porque crear diferentes DataFrames cada vez, recuerda que Spark es lazy y tiene el optimizador

Para mi gusto es mejor usar DataFrame con withcolumn, con todas las ventajas y desventajas que puede conllevar, luego entra lo que te da trabajar con Dataset que hasta en tiempo de compilación puedes ver errores, y luego tratar con sql, todo tiene sus ventajas y su performance (depende también de los propios recursos del cluster, la agilidad para tirar querys ...)

0

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.