1

tengo un DataSet que quiero poder modificar o crear un nuevo DataSet a partir del anterior. Es un DataSet formado por datos recogidos de un giroscopio.

El formato es el siguiente:

Quiero poder modificar el DataSet y que los datos de cada 32 filas (con el mismo surce file) se pongan en una sola linea del csv. Ya sea en 32 columnas o en una columna con 32 elementos separados por comas. El caso es que cada soruce_file representa a una secuencia, y las secuencias son de tamaño variable. Por ello, hay que tener en cuenta que las secuencias pueden no ser divisibles entre 32 y para solucionarlo sería introducir los datos anteriores hasta llegar a 32 filas (en el caso la secuencia no sea divisible entre 32).

¿Cómo podría hacerlo?

Ejemplo de DataSet Final:

introducir la descripción de la imagen aquí

Para solucionar el problema he estado intentando tratar el DataFrame como una matriz numpy pero no he obtenido el resultado deseado.

3
  • Pon una muestra del dataset como texto, con formato, en la propia pregunta. En imágenes es prácticamente ilegible. Además, muestra lo que has intentado hasta el momento: lee Cómo preguntar y haz el recorrido de bienvenida para conocer el funcionamiento del sitio.
    – padaleiana
    Commented el 27 dic. 2021 a las 10:02
  • ¿Qué significa exactamente "repetir los datos anteriores" en caso de que no se alcancen las 32 filas? ¿Repetir el último dato disponible hasta rellenar las 32, o reciclar todos los datos anteriores, comenzando de nuevo por el primero? O sea, si tenemos solo 29 filas el relleno a 32 se haría con las filas 1, 2, 3, ..., 28, 29, 29, 29, 29 o bien 1, 2, 3, ..., 28, 29, 1, 2, 3?
    – abulafia
    Commented el 27 dic. 2021 a las 10:26
  • El relleno se haría comenzando de nuevo por el primero 1, 2, 3, ..., 28, 29, 1, 2, 3 Commented el 27 dic. 2021 a las 10:40

1 respuesta 1

2

Para simplificar el ejemplo comenzaré por crear un dataframe con datos aleatorios, con una estructura similar a la que tú tienes:

import pandas as pd
import numpy as np

df = pd.DataFrame({"X": np.random.randint(-20, 120, size=100), 
              "Y": np.random.randint(-20, 120, size=100),
              "Z": np.random.randint(-20, 120, size=100)})

El dataframe tiene 100 filas (fíjate que no es múltiplo de 32) con tres columnas (X, Y, Z) y en cada una unos números aleatorios.

Un trozo del dataframe:

      X    Y    Z
0    52   67   99
1    51   -7  -18
2   -14  119   90
3    72   86   61
4    11    2    8
..  ...  ...  ...
95   46  107   96
96  118   41   58
97  104   97   12
98   36  100   16
99   10   41  111

La solución

Lo primero es agrupar las filas de 32 en 32 para seguidamente aplicar a cada uno de los grupos una función que tendremos que escribir y que hace lo que tú buscas (juntar las filas de cada grupo en una sola, y si el grupo tiene menos de 32 elementos reciclarlos desde el primero).

La parte de agrupar es relativamente sencilla usando groupby() y pasándole una lambda. Pandas aplicará la función lambda que le pasemos sobre cada valor del índice, y agrupará en el mismo grupo a todas las filas para las cuales la lambda retorne el mismo valor. Así que podemos hacer que la lambda simplemente haga el cociente entero entre 32:

grupos = df.groupby(lambda i: i//32)

Mientras la i sea menor a 32 (0,1,2,...) el cociente sale 0 por lo que todas esas filas irán al "grupo 0". Las 32 siguientes irán al "grupo 1" (pues el cociente entero de 32, 33, 34... entre 32 sale siempre 1) etc.

El último grupo en nuestro caso tiene solo cuatro elementos (96, 97, 98 y 99)

Lo siguiente es escribir una función que reciba cada uno de estos grupos, y que use los datos contenidos en el grupo para generar una larga cadena de números separados por comas.

Para hacer esta función usaré un par de "trucos" de la biblioteca itertools, junto con una expresión generadora:

import itertools

def juntar(data):
  rows = itertools.islice(itertools.cycle(data[["X", "Y", "Z"]].values), 32)
  return ", ".join(str(x) for row in rows for x in row)

Explicación de lo anterior:

  • itertools.cycle() recibe como parámetro un iterable y va devolviendo valores del mismo hasta que se acaben, en cuyo caso vuelve a comenzar por el primer valor. Este iterable no termina nunca (devuelve una secuencia infinita)
  • itertools.slice() recibe como parámetro un iterable y un número, y devuelve sólo los N primeros elementos del iterable que recibe como parámetro. Lo uso entonces para quedarme con los primeros 32 elementos de la secuencia infinita que me devolvería itertools.cycle()

En nuestro caso el iterable que le paso de entrada a itertools.cycle() es data[["X", "Y", "Z"]].values, que son las filas del grupo que se esté considerando, tomando sólo las columnas llamadas "X", "Y", "Z" y los valores que hay en ellas). Así consigo que si el grupo tiene menos de 32 filas se vuelvan a repetir comenzando por la primera del grupo (si tiene exactamente 32 también funcionará sin problemas).

En la siguiente línea mediante ", ".join() y una expresión generadora concateno usando comas todos los datos. Retorno la larga cadena resultante.

Ya solo queda aplicar esa función a cada uno de los grupos:

resultado = grupos.apply(juntar)

Y el resultado es:

0    52, 67, 99, 51, -7, -18, -14, 119, 90, 72, 86, 61, 11, 2, 8, 116, 70, -3, 10...
1    47, 93, 33, 69, 117, 65, 17, 110, 95, 51, 55, -19, 79, 118, 112, 54, 70, 74,...
2    63, -17, 95, 42, 38, 49, 57, 52, 65, 80, 63, 60, -20, 115, 5, 47, 87, 99, 10...
3    118, 41, 58, 104, 97, 12, 36, 100, 16, 10, 41, 111, 118, 41, 58, 104, 97, 12...

Fíjate en la última fila, cómo comienza por "118, 41, 58" (que son los valores X, Y, Z que df tenía en su fila 96) y sigue por lo que había en la fila 97, 98 y 99, pero luego vuelve a aparecer "118, 41, 58" porque comienza a reciclar por la fila 96.

Como curiosidad, aplicandolo a tu dataset de ejemplo (que tiene 10831 filas) el resultado se obtiene en unas décimas de segundo, y tiene esta pinta:

0      53.0, 34.0, -6.0, 60.0, 33.0, -3.0, 64.0, 34.0, -4.0, 76.0, 38.0, 3.0, 83.0,...
1      -13.0, -53.0, 35.0, -7.0, -56.0, 33.0, -5.0, -54.0, 36.0, -9.0, -51.0, 37.0,...
2      2.0, -54.0, 34.0, 0.0, -54.0, 33.0, 2.0, -54.0, 32.0, 3.0, -53.0, 33.0, 0.0,...
3      -10.0, -36.0, 29.0, -1.0, -45.0, 21.0, 6.0, -31.0, 20.0, 21.0, -24.0, 22.0, ...
4      0.0, -53.0, 26.0, -11.0, -55.0, 27.0, -7.0, -53.0, 35.0, -7.0, -49.0, 33.0, ...
                                            ...                                       
334    62.0, 22.0, 8.0, 61.0, 24.0, 8.0, 58.0, 31.0, 8.0, 57.0, 31.0, 12.0, 54.0, 3...
335    54.0, 7.0, -6.0, 49.0, 20.0, -11.0, 42.0, 18.0, -12.0, 47.0, 15.0, -20.0, 73...
336    47.0, 27.0, 40.0, 42.0, 23.0, 33.0, 36.0, 28.0, 34.0, 35.0, 42.0, 40.0, 33.0...
337    57.0, 14.0, -30.0, 59.0, 15.0, -29.0, 45.0, 0.0, -29.0, 53.0, -1.0, -18.0, 5...
338    52.0, 30.0, 23.0, 51.0, 28.0, 22.0, 53.0, 30.0, 20.0, 48.0, 30.0, 18.0, 44.0...
2
  • Estoy intentando hacer que primero coja las 160 (480 números) filas es decir (32x5) y las ponga en una fila (sería solo cambiar el valor de 32 por 160). Pero para la segunda fila quiero que replique esos 480 números menos los 96 primeros y añada los 96 siguientes al final de la línea. Es decir, si la primera fila tiene valores de 1,2,3,4,...480 la segunda fila tendrá 97,98,99....576. Commented el 14 mar. 2022 a las 10:23
  • Creo que esto es una pregunta nueva. Mejor la escribes aparte, y si acaso puedes añadir un enlace a esta otra pregunta para contexto y evitar tener que explicar todo de cero.
    – abulafia
    Commented el 14 mar. 2022 a las 10:41

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.