La forma estándar de detectar si un dato es nan sin necesidad de instalar módulos adicionales es usar math.isnan(dato)
, en lugar de str(dato)=="nan"
.
Por otro lado, para eliminar las listas que contienen nan sin necesidad de numpy lo que puedes hacer es una comprensión de listas como la siguiente:
import math
resultado = [lista for lista in A if not all(math.isnan(x) for x in lista)]
Esta expresión itera por las listas que hay en A
y se queda solo con las que cumplan la condición:
if not all(math.isnan(x) for x in lista)
que requiere una explicación un poco más detallada.
Dentro del argumento de all()
estamos pasando una expresión generadora. Esa expresión itera por todos los elementos de la lista, recogiendo cada uno en la variable x
, y mira si ese x
es nan. Como resultado la expresión generadora generará una serie de booleanos, por ejemplo (False, False, False, ...)
si todos los elementos son no-nan, o bien (True, True, True, ...)
si todos son nan. También puede darse el caso de que algunos sean nan y otros no, con lo que generaría una secuencia del estilo (True, False, False, True, ...)
etc, con True
en los lugares donde hubiera nan.
Esa secuencia es la que recibe all()
como parámetro. all()
retorna True
si todos los elementos de la secuencia son True
. Esto sucederá si todos eran nan
.
La condición, al ir precedida de not
, se queda solo con las listas para las que all()
retorne False
, es decir, las listas en las que no todos los elementos son nan.
Demo:
import math
nan = float("nan")
A=[[1.0, 1.0, 5.0, 3.0, 1.0],
[3.0, 1.0, 1.0, 4.0, 4.0],
[3.0, 4.0, 1.0, 2.0, 3.0],
[3.0, 2.0, 5.0, 2.0, 4.0],
[3.0, 2.0, 1.0, 2.0, 1.0],
[nan, nan, nan, nan, nan],
[nan, nan, nan, nan, nan]]
resultado = [ lista for lista in A if not all(math.isnan(x) for x in lista)]
print(resultado)
----
[[1.0, 1.0, 5.0, 3.0, 1.0],
[3.0, 1.0, 1.0, 4.0, 4.0],
[3.0, 4.0, 1.0, 2.0, 3.0],
[3.0, 2.0, 5.0, 2.0, 4.0],
[3.0, 2.0, 1.0, 2.0, 1.0]]
Nota. Si se diera el caso de que una sublista contuviera algún nan (pero no todos nan), el filtro anterior dejaría pasar esa lista (porque all()
daría False para una lista que no sea todo nan). Si quisieras rechazar estas listas, cambia all()
por any()
.