Según la documentación:
orderBy(*cols, **kwargs) Returns a new DataFrame sorted by the
specified column(s).
Parameters:
cols – list of Column or column names to sort by.
ascending – boolean or list of boolean (default True). Sort ascending
vs. descending. Specify list for multiple sort orders. If a list is
specified, length of the list must equal length of the cols.
Tienes el parámetro ascending
para establecer el orden, por ejemplo si quieres todas las columnas en orden ascendente salvo la tercera, podrías hacer lo siguiente:
training=training.orderBy(['col1','col2','col3'], ascending=[1, 1, 0])
Nota: la lista ascending
es de booleanos, pero te indique el ejemplo tal como está expresado en la documentación que te pasé, usando valores 1 y 0. Entiendo que sería igual hacer ascending=[True, True, False]
. No olvides que cuando configuras este parámetro la lista debe tener la misma cantidad de elementos del parámetro cols
.
orderBy
es una instrucción deSparkSQL
y no conocemos cómo la estás usando. Por otro lado, te sobraría la etiqueta pandas, ¿no?