0

Tengo una carpeta con alrededor de 90 csv. Quiero unirlos en un único dataframe y que no solo me encadene cada csv sino que combine los datos de cada fila en función de la columna principal, en este caso 'Name'. Cada uno de los csv tiene la siguiente estructura (simplifico porque cada df tiene muchas más columnas):

CSV1:

    Name       Team    Passes     Shots
1   Player 1    Oly       20        5
2   Player 2    PSG        6        4
3   Player 3    Lil        3        6

CSV2:

    Name       Team    Passes     Shots
1   Player 4    Par       22        4
2   Player 5    ATM        7        3
3   Player 6    Fer        9        1

CSV3:

    Name       Team    Assists     Goals
1   Player 1    Oly       2         3
2   Player 2    PSG       1         4
3   Player 3    Lil       1         1

CSV4:

    Name       Team    Assists     Goals
1   Player 4    Par       3         1
2   Player 5    ATM       4         2
3   Player 6    Fer       5         3

El resultado final que busco es:

    Name       Team    Passes     Shots    Assists    Goals
1   Player 1    Oly       20        5         2         3
2   Player 2    PSG        6        4         1         4
3   Player 3    Lil        3        6         1         1
4   Player 4    Par       22        4         3         1
5   Player 5    ATM        7        3         4         2
6   Player 6    Fer        9        1         5         3

Sin embargo, el resultado que encuentro es el siguiente:

    Name       Team    Passes     Shots    Assists    Goals
1   Player 1    Oly       20        5        NaN       NaN
2   Player 2    PSG        6        4        NaN       NaN
3   Player 3    Lil        3        6        NaN       NaN
4   Player 4    Par       22        4        NaN       NaN
5   Player 5    ATM        7        3        NaN       NaN
6   Player 6    Fer        9        1        NaN       NaN
7   Player 1    Oly      NaN       NaN        2         3
8   Player 2    PSG      NaN       NaN        1         4
9   Player 3    Lil      NaN       NaN        1         1
10  Player 4    Par      NaN       NaN        3         1
11  Player 5    ATM      NaN       NaN        4         2
12  Player 6    Fer      NaN       NaN        5         3

Éste es el código que estoy utilizando:

from os import listdir

filepaths = [f for f in listdir("./") if f.endswith('.csv')]
df = pd.concat(map(pd.read_csv, filepaths), ignore_index=True)

Estoy muy cerca de conseguirlo pero algo se me escapa. ¿Alguna sugerencia? Un saludo y gracias de antemano.

4
  • Utiliza join. No hagas pd.read en linea sino que lleva a un dfn. Debes tener el df principal y los dfn que vas incorporando. luego le haces: df.join(dfn.set_index('Name'),on="Name", how='outer'). Ahora, si logras hacerlos como tienes tu concat me pasas para ver como lo hiciste Commented el 11 jun. 2021 a las 10:50
  • Te lo pasaría encantado pero no lo logré :( Intenté hacer un df principal con solo datos comunes en todos los csv (Name, Team, etc) llamado dfppal. Después intenté con este código dfppal1 = pd.concat(map(dfppal.join(filepaths.set_index('Name'),on="Name", how='outer')), ignore_index=True) pero recibo 'list' object has no attribute 'set_index' ¿Alguna sugerencia?
    – nokvk
    Commented el 11 jun. 2021 a las 11:19
  • Se pueden hacer 2 cosas, 1 hacer lo quebhaces y luego eliminar los datos duplicados o 2 usar un merge
    – Christian
    Commented el 11 jun. 2021 a las 12:20
  • Con los datos que has puesto arriba lo hago y te lo paso. Ah pero mejor era en bloque for. Commented el 11 jun. 2021 a las 12:22

1 respuesta 1

0

Te lo dejo como una respuesta, porque en este caso aplica..

Utilizando tu código, solo deberías agrupar por Name y Team, y luego aplicarle sum a todas las columnas. Como decía.. en este caso aplica ya que solo posees valores NaN.

Al final te quedaría:

df = df.groupby(['Name','Team']).sum().reset_index()



            Name    Team    Passes  Shots   Assists Goals
   0      Player 1   Oly    20.0    5.0     2.0      3.0
   1      Player 2   PSG    6.0      4.0    1.0      4.0
   2      Player 3   Lil    3.0      6.0    1.0      1.0
   3      Player 4   Par    22.0     4.0    3.0      1.0
   4      Player 5   ATM    7.0      3.0    4.0      2.0
   5      Player 6   Fer    9.0      1.0    5.0      3.0

luego puedes convertir las columnas del tipo de dato float a int si quieres..

df[['Passes','Shots','Assists','Goals']] = df[['Passes','Shots','Assists','Goals']].astype(int)
1
  • Perfecto, esto era lo que buscaba. Tanto groupby como sum han sido la clave. No sé cuántas horas he estado buscando la solución, me estaba volviendo loco jaja Mil gracias
    – nokvk
    Commented el 11 jun. 2021 a las 12:36

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.