Estoy intentando implementar un when otherwise usando SPARK.SQL, en un dataframe. El objetivo es tener un dataframe que cambie los regitros que son mayor a 100, los cambie a 50 y si los registros son menores que 50, estos datos no cambiarlos sino pasarlos igual
Tengo el siguiente código
df_registros_menores.filter(
df_registros_menores.ACTIVEUPTO.between(1,50)).display() //Este código hace solo el filtro para tener los registros menores a 50
df_final = df_registros_menores.select(col("*"), when(col("REGISTROS") >= "100","50") //El objetivo que se comenta, se intenta realizar con este código, en el cual ya muestra los registros mayores a 100 que los cambia por 50, pero no logro que para los registros menores de 50, muestre como resultado los mismos registros y no cambien .
# .when(col("REGISTROS") == ("1 , 50"),"1-50 ") //Linea comentada, aquí se intenta como seleccionar los registros entre un rango de cantidad como un between
.otherwise("").alias("REGISTROS_FINAL")
En el resultado se crea una nueva columna llamada "REGISTROS_FINAL", la cual solo muestra los cambios que se aplicaron en los registros de 100 y que los cambia a 50
Alguna sugerencia de como resolver, o si hay alguna otra forma de hacer lo mismo pero con MySQL
Gracias