0

Estoy intentando implementar un when otherwise usando SPARK.SQL, en un dataframe. El objetivo es tener un dataframe que cambie los regitros que son mayor a 100, los cambie a 50 y si los registros son menores que 50, estos datos no cambiarlos sino pasarlos igual

Tengo el siguiente código


 df_registros_menores.filter(
 df_registros_menores.ACTIVEUPTO.between(1,50)).display()   //Este código hace solo el filtro para tener los registros menores a 50

 



df_final = df_registros_menores.select(col("*"), when(col("REGISTROS") >= "100","50")  //El objetivo que se comenta, se intenta realizar con este código, en el cual ya muestra los registros mayores a 100 que los cambia por  50, pero no logro que para los registros menores de 50, muestre como resultado los mismos registros y no cambien .

   # .when(col("REGISTROS") == ("1 , 50"),"1-50 ") //Linea comentada, aquí se intenta como seleccionar los registros entre un rango de cantidad como un between

     .otherwise("").alias("REGISTROS_FINAL")

En el resultado se crea una nueva columna llamada "REGISTROS_FINAL", la cual solo muestra los cambios que se aplicaron en los registros de 100 y que los cambia a 50

Alguna sugerencia de como resolver, o si hay alguna otra forma de hacer lo mismo pero con MySQL

Gracias

1 respuesta 1

0

Es un poco confusa la lógica que intentas implementar según lo explicado (si pudieras actualizar la pregunta con un ejemplo de los datos contenidos en el dataframe sería fabuloso), sin embargo, según entiendo tienes un conjunto de datos con valores entre 0 y 200 (por ejemplo), y quieres que aquellos que sean mayores o iguales a 100 automáticamente cambien a 50.

//Propuesta en spark - scala

//No es necesario filtrar en un dataframe los registros menores ya que el when solo afectará un grupo de datos.

val dfOriginal; //asumiremos que este es el dataframe donde están los datos que se desean convertir.

val dfConvertido = dfOriginal.select(when(col(REGISTROS) >= 100, "50").when((col(REGISTROS) >= 1 && col(REGISTROS) <= 50, "1-50")).as("REGISTROS_FINAL))

Debes considerar adicionalmente varias cosas:

  1. Si vas a hacer una comparación de mayor o menor tus datos deben ser numéricos, en el código que colocas estás comparando strings y eso puede dar resultados no deseados.
  2. El otherwise afectará todos aquellos registros que no entren en las dos primeras condiciones, validar si esto se requiere sino estará modificando más datos de los necesarios.
  3. El cambio de spark-scala a pyspark es mínimo y la lógica es la misma por lo cual no debería haber inconveniente.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.