Pandas no permite usar el mismo nombre para diferentes columnas en un mismo DataFrame, lo cual es lógico por otra parte. Por eso ante esta situación tiene dos comportamientos, o renombra la columna como en este caso o la sobreescribe.
No hay forma, al menos que yo conozca, de unir las columnas directamente durante la lectura del archivo. Lo que si podemos hacer es unirlas después.
Una posible forma de abordarlo es:
import collections
import pandas as pd
def joining_same_name_columns(df: pd.DataFrame) -> pd.DataFrame:
cols = collections.defaultdict(list)
for col in df.columns:
k = col.rsplit(".", maxsplit=1)[0]
cols[k].append(df[col])
join_df = pd.DataFrame({name: pd.concat(columns) for name, columns in cols.items()})
join_df.reset_index(drop=True, inplace=True)
return join_df
La idea es simplemente obtener las columnas con el mismo nombre gracias a separando por .
desde la derecha gracias str.rsplit
y agruparlas en un diccionario en el que la clave es el nombre de la columna y el valor una lista con las columnas que han de unirse. Después basta con usar pandas.concat
.
Si tenemos un Excel como:
>>> df = pd.read_excel("test.xlsx")
>>> df
a a.1 a.2 a.3 a.4 b b.1 b.2 b.3 b.4 c c.1 c.2 c.3 c.4
0 4 2 5 4 3 8 7 2 2 4 7 8 2 7 4
1 1 2 3 4 5 1 5 3 0 3 5 8 6 7 1
>>> df = joining_same_name_columns(df)
>>> df
a b c
0 4 8 7
1 1 1 5
2 2 7 8
3 2 5 8
4 5 2 2
5 3 3 6
6 4 2 7
7 4 0 7
8 3 4 4
9 5 3 1
Obviamente esto puede fallar si las cabeceras contienen el carácter**.
**. Ante esta situación tenemos varias soluciones, desde renombrar primero las columnas a leer la cabecera por separado por otro medio y usarla para construir el diccionario.