0

tengo un dataframe con 9000 filas y 3001 donde 3000 columnas son medidas temporales y la ultima el label que las clasifica del 1 al 6 según el tipo de medida.

Ya he dividido el dataframe original en 6 dataframes que sólo tienen ese tipo de medida:

Código

Cada dataframe 'tipo' tiene los índices del dataframe original, es decir, si en el primer dataframe había dos medidas del tipo 2 donde la primera estaba entre los índices 120 y 400 y la segunda entre el 800 y el 1000, los índices se conservan. Por ejemplo, los índices del dataframe tipo2 serán 120, 121, ..., 399, 400, 800, 801, ..., 999, 1000.

Mi problema es que necesito separar estos dataframes 'tipo' en otros dataframes que contengan aquellas medidas cuyos índices están seguidos, y yo antes de recibir los datos no sé si va a haber 2, 3 o más saltos entre los índices. (Es decir, ahora tengo todas las medidas del mismo tipo, pero necesito las medidas inviduales que son aquellas cuyo índice está seguido*)

He intentado hacer un bucle para determinar el número de saltos, pero no sé como crear un número n de dataframes sin conocer n previamente. Pues n me lo da el propio bucle.

Código2

¿Hay alguna función en pandas que lo haga? ¿Es imposible hacerlo?

Si alguien me puede ayudar lo agradecería enormemente.

*Para ser más técnicos, son medidas de defectos en placas recogidas por un sensor, de tal forma que los índices consecutivos significan que el sensor ha tardado cierto tiempo en medir un defecto, por tanto lo que interesa aquí son aquellas medidas del mismo tipo pero separadas, pues significan que hay 2 defectos del mismo tipo en la misma placa. Eso luego se usará para crear un modelo de Machine Learning.

5
  • Buen día, por favor agrega algunas filas de alguno de los dataframe tipo así como une ejemplo del resultado que esperarías obtener. En especial me gustaría saber si buscas eliminar los números consecutivos o que tan “seguidos” son “seguidos”. Es decir, si tuvieras los índices 1,2,4,8, sólo deseas identificar 1 y 2? el 20 jun. 2022 a las 9:17
  • Hola buenas, tengo un dataframe dónde los índices son consecutivos entre dos números, por ejemplo entre 150 y 230 los índices serían: 150, 151, 152.. así hasta 230, pero el índice siguiente a 230 en vez de ser el 231 es (por ejemplo) el 800, llamemos a esto un salto. Quiero poder separar en diferentes dataframes los datos con índices consecutivos. El problema es que necesito un código que lo haga de forma general, pues yo no sé cuantos "saltos" tendré, entonces no sé cuantos nuevos dataframes puedo crear @HeytalePazguato
    – Jborque98
    el 20 jun. 2022 a las 9:48
  • Ok, pero si tuvieras los índices 1,2,3 5,6,7 sería un salto? O tienes un valor mínimo de números que se deberían saltar para hacer la división? el 20 jun. 2022 a las 9:49
  • Sí, el salto sería entre 3 y 5, querría dos df uno con las medidas de 1,2,3 y otro con las de 5,6,7 @HeytalePazguato
    – Jborque98
    el 20 jun. 2022 a las 9:51
  • 1
    Como nota adicional, te recomiendo hacer el recorrido de bienvenida y leer la sección ¿Cómo preguntar? para que tus preguntas sean más claras. También es importante que el código siempre lo agregues como texto y no como imagen y que siempre que sea necesario agregues algunas filas de tus datos con las que se pueda reproducir el problema que tienes así como un ejemplo de lo que deseas obtener. Saludos el 20 jun. 2022 a las 11:11

1 respuesta 1

0

Buen día,

Para simplificar el ejemplo hice un dataframe sencillo con los siguientes datos (En un archivo llamado 'sample2.csv'):

        col1
index   
1       10
2       20
3       30
5       50
6       60
7       70
9       90
10      100
11      110

Lo primero que hay que hacer es crear "grupos" para saber que filas van a conformar cada dataframe resultante. Utilizando el índice, vamos a identificar las filas donde la diferencia del valor de la fila actual con el valor de la fila siguiente sea diferente de 1 y vamos a utilizar la suma acumulada para crear los "grupos"

id_grupo = df.index.to_series().diff().ne(1).cumsum()

Al imprimir id_grupo obtenemos:

index
1     1
2     1
3     1
5     2
6     2
7     2
9     3
10    3
11    3
Name: index, dtype: int32

Utilizando comprensión de listas utilizamos el id_grupo para agrupar el dataframe en su respectivo grupo y lo dividimos en varios dataframes.

dfs = [x for _, x in df.groupby(id_grupo)]

La variable dfs contiene todos los dataframes de los diferentes "grupos" que obtuvimos.

Ejemplo completo:

import pandas as pd

df = pd.read_csv('sample2.csv', index_col = 'index')
id_grupo = df.index.to_series().diff().ne(1).cumsum()
dfs = [x for _, x in df.groupby(id_grupo)]

Esto devuelve los siguientes dataframes

#dfs[0]
        col1
 index      
 1        10
 2        20
 3        30

#dfs[1]
        col1
 index      
 5        50
 6        60
 7        70

#dfs[2]
        col1
 index      
 9        90
 10      100
 11      110
2
  • Muchísimas gracias, me ha servido
    – Jborque98
    el 21 jun. 2022 a las 12:41
  • No hay de que, saludos! el 21 jun. 2022 a las 13:16

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.