No entiendo muy bien la pregunta,
Si te refieres a la select usando .sql
por debajo entraría catalyst y tendría que traducir la sql.
Si te refieres a la performance de los Dataset vs los DataFrame spark tiene que serializar y convertir todos los datos a tipos de la JVM.
Si te refieres a usar una UDF, intenta evitarlas siempre que puedas.
Agregar columnas no tiene porque crear diferentes DataFrames cada vez, recuerda que Spark es lazy y tiene el optimizador
Para mi gusto es mejor usar DataFrame con withcolumn, con todas las ventajas y desventajas que puede conllevar, luego entra lo que te da trabajar con Dataset que hasta en tiempo de compilación puedes ver errores, y luego tratar con sql, todo tiene sus ventajas y su performance (depende también de los propios recursos del cluster, la agilidad para tirar querys ...)