1

El archivo CSV, se encuentra en este link: Archivo

Esta es una captura de las primeras 11 filas, con las correspondientes columnas:

Captura

Hasta ahora he intentado con los siguientes codigos:

df.fillna(df.filter(like='20').quantile(.8, axis = 1), axis=0, inplace=True)

y con:

q80_dicc = df.filter(like='20').quantile(.8, axis = 1).to_dict()

df = df.replace(np.nan, q80_dicc.values())
2
  • Puedes poner un ejemplo de cómo es el dataframe (aunque sean unas pocas filas) para poder tener datos con los que probar diferentes ideas?
    – abulafia
    Commented el 29 sept. 2019 a las 20:12
  • ok, agregare las primeras 5 filas con sus respectivas columnas
    – César
    Commented el 29 sept. 2019 a las 20:24

1 respuesta 1

0

La solución con la que he dado es un mix de las dos que estabas intentando.

Primero, obtener un diccionario que nos dice para cada fila cuál sería el valor final por el que queremos reemplazar NaN. Este diccionario se obtiene como tu habías hecho:

q80_dicc = df.filter(like='20').quantile(.8, axis = 1).to_dict()

Por ejemplo, para las cinco primeras filas este diccionario sería:

{0: 1562.0,
 1: 1550.0,
 2: 1454.2,
 3: 1459.6000000000001,
 4: 1460.6
}

Que indica que en la fila 0 y 1 los NaN deben cambiarse por 1562.0, en la fila 2 deben cambiarse por 1454.2, etc.

Segundo aplicar df.fillna() con ese diccionario. Según la documentación de DataFrame.fillna() el primer argumento puede ser un diccionario como el que tenemos. Pero el problema es que cuando se usa un diccionario como argumento, fillna() sólo puede operar sobre una Serie (columna) y no sobre un dataframe entero.

Por suerte la solución es simple. Aplicamos ese método a cada columna, con ayuda de DataFrame.apply(). Es decir:

df.apply(lambda serie: serie.fillna(q80dicc), axis=0)

El resultado es (si no me equivoco) lo que querías, y puedes asignarlo de nuevo a df. Las diez primeras filas son:

introducir la descripción de la imagen aquí

2
  • Funcionó perfecto, y de hecho estaba intentando igualmente con apply(), pero por medio de una funcion def, iterando por fila por medio de un ciclo for, sin embargo el programa solo se quedaba cargando. En cambio por medio de lambda, lo resolvió bien, y rapido. Le agradezco su apoyo.
    – César
    Commented el 30 sept. 2019 a las 7:38
  • @César Tu problema no era seguramente el haberlo definido con def. La lambda no es más que una forma más compacta de definir una función cuando ésta es tan sencilla que se limita a hacer un return del resultado. La diferencia de velocidad está en evitar el bucle. Casi siempre que te encuentres iterando por filas en un dataframe, piensa que posiblemente haya otra forma de hacerlo "en una sola instrucción". Las operaciones vectorizadas de pandas internamente iterarán, naturalmente, pero están implementadas en C altamente optimizado.
    – abulafia
    Commented el 30 sept. 2019 a las 8:45

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.