1

Tengo un dataframe en Pandas con 30000 registros.

len(data) 

devuelve 30000. A este df le elimino ciertas filas y luego, regenero (ó eso creo) los indices con:

data.drop(icond1,inplace=True)
data.reset_index(drop=True)
len(data)

devuelve 28070. Entonces entiendo que si hago

data.index.values > 28070

debería devolver siempre [False,False,...False] y sin embargo, devuelve: [False,False,...,True,True]. ¿Qué hago mal? ¿Acaso no borra los índices antiguos?

¿Alguna idea de qué estoy haciendo mal? Quiero indices correlativos, no un df que tenga las mismas filas que antes salvo que las que cumplen icond1 sean inaccesibles.

2 respuestas 2

0

Un detalle importante que no muestras es cómo haces el icond1 que te sirve para filtrar los valores.

Supongamos que está correctamente hecho. La fuente más probable de error sería la línea en que reseteas el índice, ya que eso no es una operación "inplace", sino que retorna un dataframe nuevo con el índice reconstruido, pero no modifica el dataframe original. Lo arreglas haciendo data = data.reset_index(...), o también añadiendo el parámetro inplace=True.

Como demostración de que esto funciona bien, adjunto el siguiente ejemplo, en el que creo un dataframe con una única columna ("data") que contiene números correlativos de 0 a 3000. Después uso drop() para eliminar las filas que contengan valores entre 50 (incluido) y 100 (excluido). El dataframe resultante tendrá 2950 elementos. Finalmente reindexo.

>>> df = pd.DataFrame(list(range(3000)), columns=["data"])
>>> df.drop(df[(df.data >= 50) & (df.data < 100)].index, inplace=True)
>>> df.reset_index(drop=True, inplace=True)
>>> len(df)
2950

Y se cumple lo que tú correctamente suponías:

>>> any(df.index.values > 2949)
False

Nota: Ante una pregunta adicional del usuario, aclaro lo siguiente. La función reset_index() elimina los valores del índice actual, sustituyéndolos por un entero que comienza en 0 y crece correlativamente. Por defecto crea un nuevo dataframe (no altera el original) y lo retorna. También por defecto añade una columna nueva al dataframe resultante, en la que copia los valores que antes tenía el índice, y llama a esta columna "index".

La opción inplace=True es para que en lugar de retornar un dataframe nuevo, haga los cambios sobre el propio dataframe, y la opción drop=True es para que no cree la columna nueva llamada "index" con los valores del antiguo índice.

0
0

Loas casos comentados anteriormente están bien para regenerar indices que no sean MultiIndex, en caso de que tengas un dataframe con MultiIndex (por lo menos en la version 2.2.2) cuando eliminas una fila y quieres hacer uso de:

df.index.levels

Te va a mostrar los indices iniciales ya que lo guarda en una FrozenList. Para arreglar este problema he optado por hacer lo siguiente:

# Borramos la fila en cuestion
df.drop(col_remove)

# Actualizamos los indices
df.set_index(df.index, inplace=True)

Funciona y despues puedes hacer uso de df.index.levels como si fuera una lista de listas para obtener los valores de los niveles que desees

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.