Para simplificar el ejemplo comenzaré por crear un dataframe con datos aleatorios, con una estructura similar a la que tú tienes:
import pandas as pd
import numpy as np
df = pd.DataFrame({"X": np.random.randint(-20, 120, size=100),
"Y": np.random.randint(-20, 120, size=100),
"Z": np.random.randint(-20, 120, size=100)})
El dataframe tiene 100 filas (fíjate que no es múltiplo de 32) con tres columnas (X, Y, Z) y en cada una unos números aleatorios.
Un trozo del dataframe:
X Y Z
0 52 67 99
1 51 -7 -18
2 -14 119 90
3 72 86 61
4 11 2 8
.. ... ... ...
95 46 107 96
96 118 41 58
97 104 97 12
98 36 100 16
99 10 41 111
La solución
Lo primero es agrupar las filas de 32 en 32 para seguidamente aplicar a cada uno de los grupos una función que tendremos que escribir y que hace lo que tú buscas (juntar las filas de cada grupo en una sola, y si el grupo tiene menos de 32 elementos reciclarlos desde el primero).
La parte de agrupar es relativamente sencilla usando groupby()
y pasándole una lambda. Pandas aplicará la función lambda que le pasemos sobre cada valor del índice, y agrupará en el mismo grupo a todas las filas para las cuales la lambda retorne el mismo valor. Así que podemos hacer que la lambda simplemente haga el cociente entero entre 32:
grupos = df.groupby(lambda i: i//32)
Mientras la i
sea menor a 32 (0,1,2,...) el cociente sale 0 por lo que todas esas filas irán al "grupo 0". Las 32 siguientes irán al "grupo 1" (pues el cociente entero de 32, 33, 34... entre 32 sale siempre 1) etc.
El último grupo en nuestro caso tiene solo cuatro elementos (96, 97, 98 y 99)
Lo siguiente es escribir una función que reciba cada uno de estos grupos, y que use los datos contenidos en el grupo para generar una larga cadena de números separados por comas.
Para hacer esta función usaré un par de "trucos" de la biblioteca itertools
, junto con una expresión generadora:
import itertools
def juntar(data):
rows = itertools.islice(itertools.cycle(data[["X", "Y", "Z"]].values), 32)
return ", ".join(str(x) for row in rows for x in row)
Explicación de lo anterior:
itertools.cycle()
recibe como parámetro un iterable y va devolviendo valores del mismo hasta que se acaben, en cuyo caso vuelve a comenzar por el primer valor. Este iterable no termina nunca (devuelve una secuencia infinita)
itertools.slice()
recibe como parámetro un iterable y un número, y devuelve sólo los N primeros elementos del iterable que recibe como parámetro. Lo uso entonces para quedarme con los primeros 32 elementos de la secuencia infinita que me devolvería itertools.cycle()
En nuestro caso el iterable que le paso de entrada a itertools.cycle()
es data[["X", "Y", "Z"]].values
, que son las filas del grupo que se esté considerando, tomando sólo las columnas llamadas "X", "Y", "Z" y los valores que hay en ellas). Así consigo que si el grupo tiene menos de 32 filas se vuelvan a repetir comenzando por la primera del grupo (si tiene exactamente 32 también funcionará sin problemas).
En la siguiente línea mediante ", ".join()
y una expresión generadora concateno usando comas todos los datos. Retorno la larga cadena resultante.
Ya solo queda aplicar esa función a cada uno de los grupos:
resultado = grupos.apply(juntar)
Y el resultado es:
0 52, 67, 99, 51, -7, -18, -14, 119, 90, 72, 86, 61, 11, 2, 8, 116, 70, -3, 10...
1 47, 93, 33, 69, 117, 65, 17, 110, 95, 51, 55, -19, 79, 118, 112, 54, 70, 74,...
2 63, -17, 95, 42, 38, 49, 57, 52, 65, 80, 63, 60, -20, 115, 5, 47, 87, 99, 10...
3 118, 41, 58, 104, 97, 12, 36, 100, 16, 10, 41, 111, 118, 41, 58, 104, 97, 12...
Fíjate en la última fila, cómo comienza por "118, 41, 58" (que son los valores X, Y, Z que df
tenía en su fila 96) y sigue por lo que había en la fila 97, 98 y 99, pero luego vuelve a aparecer "118, 41, 58" porque comienza a reciclar por la fila 96.
Como curiosidad, aplicandolo a tu dataset de ejemplo (que tiene 10831 filas) el resultado se obtiene en unas décimas de segundo, y tiene esta pinta:
0 53.0, 34.0, -6.0, 60.0, 33.0, -3.0, 64.0, 34.0, -4.0, 76.0, 38.0, 3.0, 83.0,...
1 -13.0, -53.0, 35.0, -7.0, -56.0, 33.0, -5.0, -54.0, 36.0, -9.0, -51.0, 37.0,...
2 2.0, -54.0, 34.0, 0.0, -54.0, 33.0, 2.0, -54.0, 32.0, 3.0, -53.0, 33.0, 0.0,...
3 -10.0, -36.0, 29.0, -1.0, -45.0, 21.0, 6.0, -31.0, 20.0, 21.0, -24.0, 22.0, ...
4 0.0, -53.0, 26.0, -11.0, -55.0, 27.0, -7.0, -53.0, 35.0, -7.0, -49.0, 33.0, ...
...
334 62.0, 22.0, 8.0, 61.0, 24.0, 8.0, 58.0, 31.0, 8.0, 57.0, 31.0, 12.0, 54.0, 3...
335 54.0, 7.0, -6.0, 49.0, 20.0, -11.0, 42.0, 18.0, -12.0, 47.0, 15.0, -20.0, 73...
336 47.0, 27.0, 40.0, 42.0, 23.0, 33.0, 36.0, 28.0, 34.0, 35.0, 42.0, 40.0, 33.0...
337 57.0, 14.0, -30.0, 59.0, 15.0, -29.0, 45.0, 0.0, -29.0, 53.0, -1.0, -18.0, 5...
338 52.0, 30.0, 23.0, 51.0, 28.0, 22.0, 53.0, 30.0, 20.0, 48.0, 30.0, 18.0, 44.0...