1

Tengo un dataframe al cual quiero saber que filas tienen más de un valor NaN/None/NaT entre todas sus columnas. Es decir, si yo hago

df.isnull().any(axis=1)

Se si esa fila tiene alguna columna con NaN, pero ¿Si quiere saber las que tienen más de una columna?

Aplicando

a = df.isnull().sum()
print (a[a>0])

Me sale lo siguiente:

Col3  16
Col5   7
Col12  3
dtype: int64

Que creo que es la cantidad de filas que tienen NaN/None/NaT cada columna pero yo no quiero eso, quiero que si por ejemplo la fila 2 solo tiene un NaN en la columna 3, la omita, pero que si tiene 2 o más NaN entre las diferentes columnas sí que me la diga.

También he probado esto

df.isnull().any(axis=1).sum()

Pero no sé que hace :S

1 respuesta 1

1

Ya que df.isnull() devuelve un dataframe lleno de booleanos (True en las celdas que eran NaN), lo que queremos en realidad es contar, ya sea por filas o por columnas, cuántos de esos valores son True.

Podemos usar la función sum() para sumar por columnas (o sum(axis=1) para sumar por filas). La suma de booleanos se forzará a enteros, considerando True como 1 y False como 0. Por tanto el resultado será el número de True.

a = df.isnull().sum()        # Resultado por columnas
a = df.isnull().sum(axis=1)  # Resultado por filas

Ahora ya podemos quedarnos sólo con las columnas o filas que tengan un contador mayor de 1:

print(a[a>1])

Nota Aunque pandas tiene un método .count(), no nos sirve, ya que no es para contar el número de True, sino el número de valores que hay (distintos de NaN). Por tanto df.isnull().count() daría el mismo número para todas las columnas, pues todas tienen el mismo número de elementos no-nulos, ya que todos son True o False.

Adicionalmente

Lo que habías hecho:

df.isnull().any(axis=1).sum()

te devuelve cuántas filas tienen algún NaN. Se interpreta de la siguiente forma:

  • df.isnull() te retorna un dataframe de iguales dimensiones que el original, pero con True donde había NaN y False en el resto.
  • aplicar .any(axis=1) te retorna una Serie con tantas filas como tenía df.isnull(), y en cada fila un True si había algún True en esa fila, o False si no había ninguno. Es decir, True para las filas que tenían un NaN en df.
  • aplicar .sum() a esa Serie, suma todos los True que hay en ella (ya que se consideran 1 y los False 0). Por tanto el resultado será el número de True que había, es decir, el número de filas que tenían algún NaN en df.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.