0

Estoy buscando como hacer que dado un DataFrame formar otro DataFrame con estas condiciones (usando Pandas o no):

1 - Cada 5 líneas juntarlas en 1 línea. Es decir si las 5 primeras lineas es:

introducir la descripción de la imagen aquí

2 - La siguiente linea se formará añadiendo la fila 6 y quitando la linea 1, así sucesivamente hasta terminar con los datos, quitar una por encima y añadir una linea más. Ejemplo:

introducir la descripción de la imagen aquí

introducir la descripción de la imagen aquí

introducir la descripción de la imagen aquí

introducir la descripción de la imagen aquí

Actualmente tengo esto:

def final_df():

  data = pd.read_csv("-------")
  resultado = data.groupby(data.index // 5).agg(' '.join)

  resultado.to_csv("finalDataSet.csv",index=False)
  return resultado

final_all_folder = final_df()
5
  • Qué has probado hasta ahora? Commented el 14 mar. 2022 a las 18:04
  • Tengo hecho la parte de de coger 5 filas, lo que pasa es que lo realiza en todo el conjunto de datos. Primero quiero que coja las 5 y luego que vaya añadiendo 1 y quitando 1 como he explicado antes. He hecho esto: resultado = data.groupby(data.index // 5).agg(' '.join) para que vaya de 5 en 5, pero no es lo que estoy buscando Commented el 14 mar. 2022 a las 18:43
  • Prueba con numpy para redimensionar una lista. Por ejemplo: np.reshape(array, (1, 25)) Commented el 14 mar. 2022 a las 21:17
  • Buen día, por favor agrega el código de lo que tienes hecho hasta ahora para que podamos ayudarte Commented el 15 mar. 2022 a las 0:49
  • Acabo de editar la pregunta poniendo lo que tengo hecho. Commented el 15 mar. 2022 a las 8:49

1 respuesta 1

0

No sé si esta aproximación va a encajar con lo que preguntas porque al haber utilizado los mismos datos en cada fila de tu dataframe de ejemplo me lleva a confusión.

Hay formas de hacerlo con stack y transponiendo pero habría que ver cuál de las opciones tiene mejor rendimiento. En tu caso te dejo esta idea porque creo que es más fácil de visualizar.


Pongamos como ejemplo este dataframe. Para ver más claro lo que vamos a hacer nos quedaremos sólo con las columnas Pulse y Maxpulse:

data = pd.read_csv('https://www.w3schools.com/python/pandas/data.csv.txt')
data = data[['Pulse', 'Maxpulse']]
Pulse Maxpulse
0 110 130
1 117 145
2 103 135
3 109 175
4 117 148
5 102 127
6 110 136
7 104 134
8 109 133
9 98 124
... ... ...

Si entiendo correctamente tu pregunta, lo que buscas es un dataframe de salida en el que la fila 0 tenga los datos concatenados de las filas 0 a la 4, la fila 1 los datos de la 1 a la 5, etc, es decir:

Pulse Maxpulse Pulse Maxpulse Pulse Maxpulse Pulse Maxpulse Pulse Maxpulse
0 110 130 117 145 103 135 109 175 117 148
1 117 145 103 135 109 175 117 148 102 127
2 103 135 109 175 117 148 102 127 110 136
3 109 175 117 148 102 127 110 136 104 134
4 117 148 102 127 110 136 104 134 109 133
5 102 127 110 136 104 134 109 133 98 124
6 110 136 104 134 109 133 98 124 103 147
7 104 134 109 133 98 124 103 147 100 120
8 109 133 98 124 103 147 100 120 106 128
9 98 124 103 147 100 120 106 128 104 132

Quizá visto así no queda claro lo que estarías haciendo, así que voy a simplificarlo aún más, haciendo la misma operación con una única columna:

Maxpulse Maxpulse Maxpulse Maxpulse Maxpulse
0 130 145 135 175 148
1 145 135 175 148 127
2 135 175 148 127 136
3 175 148 127 136 134
4 148 127 136 134 133
5 127 136 134 133 124
6 136 134 133 124 147
7 134 133 124 147 120
8 133 124 147 120 128
9 124 147 120 128 132

Si te fijas, la segunda columna es exactamente igual que la primera desplazada una posición hacia arriba. La tercera columna está desplazada 2 posiciones. Y así hasta el final.

Hagámoslo sólo con grupos de dos filas en lugar de 5:

Pulse Maxpulse Pulse 2 Maxpulse 2
0 110 130 --- ---
1 117 145 117 145
2 --- --- 103 135

Se trata simplemente de desplazar las columnas Pulse 2 y Maxpulse 2 una posición hacia arriba para que nos quede:

Pulse Maxpulse Pulse 2 Maxpulse 2
0 110 130 117 145
1 117 145 103 135

Pero puedes plantearlo de otra forma: eliminando la primera fila de ese segundo dataframe.

df_2 = data.iloc[1:]

Sólo quedaría resetear el índice de ese segundo df y hacer un concat de ambos:

df2 = df_2.reset_index(drop=True)
pd.concat([data, df_2], axis=1, join='outer')

Todo esto lo puedes extrapolar para hacerlo con el número de filas que quieras.

Aplicando lo visto hasta ahora:

Una posible función para hacerlo sería:

def concat_rows(df, rows):
    dfs = []
    for i in range(rows):
        dfs.append(df)
        df = df.iloc[1:].reset_index(drop=True)

    return pd.concat(dfs, axis=1, join='outer')

Explicación:

La función recibe un dataframe y el número de filas a concatenar. Construye una lista vacía en la que va almacenando una copia del dataframe en cada iteración desplazada una posición hacia arriba.

Finalmente concatena todos los dataframes de esa lista en un único dataframe.

Su uso sería tan sencillo como:

data = pd.read_csv("https://www.w3schools.com/python/pandas/data.csv.txt")
final_all_folder = concat_rows(data, 5)

Dando como resultado:

Duration Pulse Maxpulse Calories Duration Pulse Maxpulse Calories Duration Pulse Maxpulse Calories Duration Pulse Maxpulse Calories Duration Pulse Maxpulse Calories
0 60 110 130 409.1 60 117 145 479 60 103 135 340 45 109 175 282.4 45 117 148 406
1 60 117 145 479 60 103 135 340 45 109 175 282.4 45 117 148 406 60 102 127 300
2 60 103 135 340 45 109 175 282.4 45 117 148 406 60 102 127 300 60 110 136 374
3 45 109 175 282.4 45 117 148 406 60 102 127 300 60 110 136 374 45 104 134 253.3
4 45 117 148 406 60 102 127 300 60 110 136 374 45 104 134 253.3 30 109 133 195.1
5 60 102 127 300 60 110 136 374 45 104 134 253.3 30 109 133 195.1 60 98 124 269
6 60 110 136 374 45 104 134 253.3 30 109 133 195.1 60 98 124 269 60 103 147 329.3
7 45 104 134 253.3 30 109 133 195.1 60 98 124 269 60 103 147 329.3 60 100 120 250.7
8 30 109 133 195.1 60 98 124 269 60 103 147 329.3 60 100 120 250.7 60 106 128 345.3
9 60 98 124 269 60 103 147 329.3 60 100 120 250.7 60 106 128 345.3 60 104 132 379.3

Bonus

Otras alternativas:

Aplicando la misma lógica pero directamente con las columnas del dataframe:

Seleccionamos las columnas con un offset igual al número de iteración df[row:] reseteamos el índice y las asignamos al dataframe original

def concat_rows_by_columns(df, rows):
    for row in range(1, rows):
        df[[f'{col} {row}' for col in df.columns]] = df[[col for col in df.columns]][row:].reset_index(drop=True)
    return df

Iterando por las filas y recuperando los datos siguientes:

No me gusta demasiado. Itera por cada fila y recupera los datos de las 4 siguientes filas creando una lista con ellos. El generador en el append sólo está construyendo un diccionario con las columnas nombradas según la posición de la fila origen.

def concat_rows_iter(df, rows):
    output = []
    for i, _ in df.iterrows():
        if i <= len(df) - rows:
            row = []
            for j in range(rows):
                row += df.iloc[i+j].to_list()
            output.append({f'{df.columns[x % len(df.columns)]} {x // len(df.columns)}': y for x, y in enumerate(row)})
    return pd.DataFrame(output)

Haciendo reshape cada n filas

Añado esta otra alternativa que se me ha venido a la cabeza porque creo que en cuanto a la lógica que se aplica se parece bastante a la solución que intuyo que buscas, pero sospecho que el rendimiento puede verse muy lastrado.

Lo que hace es aplicar una función lambda y, tomando como base el índice de la fila actual, selecciona el grupo de n filas. Con este grupo ya seleccionado hacemos un reshape para convertir una matriz de datos (la conseguida con .values() en un array de una única dimensión, es decir, una serie.

def concat_reshape(df, rows):
    return df.apply(lambda x: pd.Series(data[x.name:x.name+rows].values.reshape(1, -1)[0]), axis=1)

Si quisiéramos renombrar las columnas podríamos hacer algo como:

final_all_folder.columns = [f'{col} {i}' for i in range(rows) for col in data.columns]
2
  • El único problema que observo es que al ejecutar la función concat_rows, crea el dataframe perfecto pero si te fijas las últimas filas contiene valores NaN. Commented el 15 mar. 2022 a las 15:58
  • Es lógico que tenga NaN, ya que las últimas filas no van a tener grupos completos. Es decir, la fila -4 sólo se puede agrupar con las -3,-2 y -1, pero faltaría una para hacer un grupo de 5. Lo mismo con las siguientes. Si lo que quieres es que el dataframe no contenga esas filas puedes hacer un slice con final_all_folder[:-5] Commented el 15 mar. 2022 a las 16:27

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.