No sé si esta aproximación va a encajar con lo que preguntas porque al haber utilizado los mismos datos en cada fila de tu dataframe de ejemplo me lleva a confusión.
Hay formas de hacerlo con stack y transponiendo pero habría que ver cuál de las opciones tiene mejor rendimiento. En tu caso te dejo esta idea porque creo que es más fácil de visualizar.
Pongamos como ejemplo este dataframe. Para ver más claro lo que vamos a hacer nos quedaremos sólo con las columnas Pulse y Maxpulse:
data = pd.read_csv('https://www.w3schools.com/python/pandas/data.csv.txt')
data = data[['Pulse', 'Maxpulse']]
|
Pulse |
Maxpulse |
0 |
110 |
130 |
1 |
117 |
145 |
2 |
103 |
135 |
3 |
109 |
175 |
4 |
117 |
148 |
5 |
102 |
127 |
6 |
110 |
136 |
7 |
104 |
134 |
8 |
109 |
133 |
9 |
98 |
124 |
... |
... |
... |
Si entiendo correctamente tu pregunta, lo que buscas es un dataframe de salida en el que la fila 0 tenga los datos concatenados de las filas 0 a la 4, la fila 1 los datos de la 1 a la 5, etc, es decir:
|
Pulse |
Maxpulse |
Pulse |
Maxpulse |
Pulse |
Maxpulse |
Pulse |
Maxpulse |
Pulse |
Maxpulse |
0 |
110 |
130 |
117 |
145 |
103 |
135 |
109 |
175 |
117 |
148 |
1 |
117 |
145 |
103 |
135 |
109 |
175 |
117 |
148 |
102 |
127 |
2 |
103 |
135 |
109 |
175 |
117 |
148 |
102 |
127 |
110 |
136 |
3 |
109 |
175 |
117 |
148 |
102 |
127 |
110 |
136 |
104 |
134 |
4 |
117 |
148 |
102 |
127 |
110 |
136 |
104 |
134 |
109 |
133 |
5 |
102 |
127 |
110 |
136 |
104 |
134 |
109 |
133 |
98 |
124 |
6 |
110 |
136 |
104 |
134 |
109 |
133 |
98 |
124 |
103 |
147 |
7 |
104 |
134 |
109 |
133 |
98 |
124 |
103 |
147 |
100 |
120 |
8 |
109 |
133 |
98 |
124 |
103 |
147 |
100 |
120 |
106 |
128 |
9 |
98 |
124 |
103 |
147 |
100 |
120 |
106 |
128 |
104 |
132 |
Quizá visto así no queda claro lo que estarías haciendo, así que voy a simplificarlo aún más, haciendo la misma operación con una única columna:
|
Maxpulse |
Maxpulse |
Maxpulse |
Maxpulse |
Maxpulse |
0 |
130 |
145 |
135 |
175 |
148 |
1 |
145 |
135 |
175 |
148 |
127 |
2 |
135 |
175 |
148 |
127 |
136 |
3 |
175 |
148 |
127 |
136 |
134 |
4 |
148 |
127 |
136 |
134 |
133 |
5 |
127 |
136 |
134 |
133 |
124 |
6 |
136 |
134 |
133 |
124 |
147 |
7 |
134 |
133 |
124 |
147 |
120 |
8 |
133 |
124 |
147 |
120 |
128 |
9 |
124 |
147 |
120 |
128 |
132 |
Si te fijas, la segunda columna es exactamente igual que la primera desplazada una posición hacia arriba. La tercera columna está desplazada 2 posiciones. Y así hasta el final.
Hagámoslo sólo con grupos de dos filas en lugar de 5:
|
Pulse |
Maxpulse |
Pulse 2 |
Maxpulse 2 |
0 |
110 |
130 |
--- |
--- |
1 |
117 |
145 |
117 |
145 |
2 |
--- |
--- |
103 |
135 |
Se trata simplemente de desplazar las columnas Pulse 2
y Maxpulse 2
una posición hacia arriba para que nos quede:
|
Pulse |
Maxpulse |
Pulse 2 |
Maxpulse 2 |
0 |
110 |
130 |
117 |
145 |
1 |
117 |
145 |
103 |
135 |
Pero puedes plantearlo de otra forma: eliminando la primera fila de ese segundo dataframe.
df_2 = data.iloc[1:]
Sólo quedaría resetear el índice de ese segundo df y hacer un concat de ambos:
df2 = df_2.reset_index(drop=True)
pd.concat([data, df_2], axis=1, join='outer')
Todo esto lo puedes extrapolar para hacerlo con el número de filas que quieras.
Aplicando lo visto hasta ahora:
Una posible función para hacerlo sería:
def concat_rows(df, rows):
dfs = []
for i in range(rows):
dfs.append(df)
df = df.iloc[1:].reset_index(drop=True)
return pd.concat(dfs, axis=1, join='outer')
Explicación:
La función recibe un dataframe y el número de filas a concatenar. Construye una lista vacía en la que va almacenando una copia del dataframe en cada iteración desplazada una posición hacia arriba.
Finalmente concatena todos los dataframes de esa lista en un único dataframe.
Su uso sería tan sencillo como:
data = pd.read_csv("https://www.w3schools.com/python/pandas/data.csv.txt")
final_all_folder = concat_rows(data, 5)
Dando como resultado:
|
Duration |
Pulse |
Maxpulse |
Calories |
Duration |
Pulse |
Maxpulse |
Calories |
Duration |
Pulse |
Maxpulse |
Calories |
Duration |
Pulse |
Maxpulse |
Calories |
Duration |
Pulse |
Maxpulse |
Calories |
0 |
60 |
110 |
130 |
409.1 |
60 |
117 |
145 |
479 |
60 |
103 |
135 |
340 |
45 |
109 |
175 |
282.4 |
45 |
117 |
148 |
406 |
1 |
60 |
117 |
145 |
479 |
60 |
103 |
135 |
340 |
45 |
109 |
175 |
282.4 |
45 |
117 |
148 |
406 |
60 |
102 |
127 |
300 |
2 |
60 |
103 |
135 |
340 |
45 |
109 |
175 |
282.4 |
45 |
117 |
148 |
406 |
60 |
102 |
127 |
300 |
60 |
110 |
136 |
374 |
3 |
45 |
109 |
175 |
282.4 |
45 |
117 |
148 |
406 |
60 |
102 |
127 |
300 |
60 |
110 |
136 |
374 |
45 |
104 |
134 |
253.3 |
4 |
45 |
117 |
148 |
406 |
60 |
102 |
127 |
300 |
60 |
110 |
136 |
374 |
45 |
104 |
134 |
253.3 |
30 |
109 |
133 |
195.1 |
5 |
60 |
102 |
127 |
300 |
60 |
110 |
136 |
374 |
45 |
104 |
134 |
253.3 |
30 |
109 |
133 |
195.1 |
60 |
98 |
124 |
269 |
6 |
60 |
110 |
136 |
374 |
45 |
104 |
134 |
253.3 |
30 |
109 |
133 |
195.1 |
60 |
98 |
124 |
269 |
60 |
103 |
147 |
329.3 |
7 |
45 |
104 |
134 |
253.3 |
30 |
109 |
133 |
195.1 |
60 |
98 |
124 |
269 |
60 |
103 |
147 |
329.3 |
60 |
100 |
120 |
250.7 |
8 |
30 |
109 |
133 |
195.1 |
60 |
98 |
124 |
269 |
60 |
103 |
147 |
329.3 |
60 |
100 |
120 |
250.7 |
60 |
106 |
128 |
345.3 |
9 |
60 |
98 |
124 |
269 |
60 |
103 |
147 |
329.3 |
60 |
100 |
120 |
250.7 |
60 |
106 |
128 |
345.3 |
60 |
104 |
132 |
379.3 |
Bonus
Otras alternativas:
Aplicando la misma lógica pero directamente con las columnas del dataframe:
Seleccionamos las columnas con un offset igual al número de iteración df[row:]
reseteamos el índice y las asignamos al dataframe original
def concat_rows_by_columns(df, rows):
for row in range(1, rows):
df[[f'{col} {row}' for col in df.columns]] = df[[col for col in df.columns]][row:].reset_index(drop=True)
return df
Iterando por las filas y recuperando los datos siguientes:
No me gusta demasiado. Itera por cada fila y recupera los datos de las 4 siguientes filas creando una lista con ellos. El generador en el append sólo está construyendo un diccionario con las columnas nombradas según la posición de la fila origen.
def concat_rows_iter(df, rows):
output = []
for i, _ in df.iterrows():
if i <= len(df) - rows:
row = []
for j in range(rows):
row += df.iloc[i+j].to_list()
output.append({f'{df.columns[x % len(df.columns)]} {x // len(df.columns)}': y for x, y in enumerate(row)})
return pd.DataFrame(output)
Haciendo reshape cada n filas
Añado esta otra alternativa que se me ha venido a la cabeza porque creo que en cuanto a la lógica que se aplica se parece bastante a la solución que intuyo que buscas, pero sospecho que el rendimiento puede verse muy lastrado.
Lo que hace es aplicar una función lambda y, tomando como base el índice de la fila actual, selecciona el grupo de n filas. Con este grupo ya seleccionado hacemos un reshape para convertir una matriz de datos (la conseguida con .values()
en un array de una única dimensión, es decir, una serie.
def concat_reshape(df, rows):
return df.apply(lambda x: pd.Series(data[x.name:x.name+rows].values.reshape(1, -1)[0]), axis=1)
Si quisiéramos renombrar las columnas podríamos hacer algo como:
final_all_folder.columns = [f'{col} {i}' for i in range(rows) for col in data.columns]
np.reshape(array, (1, 25))