0

Muy buenas, (empezando con spark).

estoy intentando una columna nueva a partir de otro tipo integer para que con valores inferiores a 10, me indique 0 en la columna nueva o sino crear 1.

Pero debo estar haciendo algo mal, y me indica:

"No se puede convertir la columna en bool: por favor use '&' para 'y', '|' para 'o', '~' para 'no' cuando construya expresiones booleanas de DataFrame.
def apto():
  if df1.G3 < 10:
     return 0
  else: 1
df1 = df1.withColumn("apto",apto())

1 respuesta 1

0

Tienes dos opciones:

  • Utilizar la sintaxis de PySpark
  • Definir la funcion en Python y utilizar UDFs, que permite utilizar la funcion en pyspark

Sintaxis PySpark Utilizarias simplemente la funcion when:

from pyspark.sql.function import  when
df1 = df1.withColumn('apto', when(df.G3<10, 0).otherwise(1))

UDFs Primero defines la funcion en Python

def apto(a):
  if a < 10:
    return 0
  else:
    return 1

Luego importas la funcion UDF y la aplicas sobre la funcion inicial

from pyspark.sql.functions import udf
apto_udf = udf(apto)
df1 = df1.withColumn('apto', apto_udf(df.G3))

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.