Tengo un dataframe gigante creado con Python mediante Pandas, del cual querría reducir su volumen eliminando filas innecesarias y rellenando otras filas que están incompletas. Por ejemplo, tengo este dataframe:
DIAMETRO POSICION DIST
TIEMPO
0.1 3.3 NaN
0.2 3.6 NaN
0.3 1 0.26
0.4 3.8 NaN
0.5 3.2 NaN
0.6 2 0.13
0.7 3.7 NaN
0.8 3.5 NaN
0.9 3 0.99
1.0 3.1 NaN
1.1 3.0 NaN
1.2 4 0.84
Como veis, en el TIEMPO 0.3 tengo la POSICION (=1) y la DISTANCIA (=0.26) y me gustaria rellenar la casilla DIAMETRO que esta vacía con la información de la fila de abajo (la que solo contiene la información sobre DIAMETRO. Y luego borrar esas filas que solo contienen datos de diametro unicamente. Haciendo esto, el resultado debería ser este:
DIAMETRO POSICION DIST
TIEMPO
0.3 3.8 1 0.26
0.6 3.7 2 0.13
0.9 3.1 3 0.99
Como veis, se han eliminado las filas 0.1, 0.2, 0.4, 0.5, etc., que solo contenían diámetros, y se han rellenado las casillas de diámetro vacía de las filas que quedan.
El problema es no conozco ninguna función de la librería Pandas capaz de hacer esto. He buscado por internet pero no veo ejemplos de casos similares. ¿Alguien sabría alguna forma de hacerlo?
He intentado mediante un bucle:
for i in range (1, len(df['TIEMPO'])):
fila_abajo= df['DIAMETRO'][i+1]
#Pongo i + 1 para que me seleccione la casilla de la fila siguiente a la vacía.
valores = {'DIAMETRO': fila_abajo}
#Y ahora relleno las casillas vacias con el valor de la fila de abajo que si tiene datos
df.fillna(value=valores)
for i in range (1, len(df['TIEMPO'])):
fila_abajo= df['DIAMETRO'][i+1]
Pongo i + 1 para que me seleccione la casilla de la fila siguiente a la vacía.valores = {'DIAMETRO': fila_abajo}
Y ahora relleno las casillas vacias con el valor de la fila de abajo que si tiene datosdf.fillna(value=valores)