Lo primero que se me ocurre para resolver este problema es utilizar GroupBy.apply
con DataFrame.duplicated
y keep = False
o bien dejar keep en 'first'
(si quieres que n-1 filas para cada archivo para las cuales existen una fila idéntica sea el número de duplicados y no n (keep = False
) ) para que la Serie booleana que se genera tenga True en todos los valores duplicados para cada archivo y después sumar por nivel aprovechando la Serie con MultiIndex
.
Método 1
df_1 = (df.groupby(['ARCHIVO'])
.apply(lambda x: x.duplicated(keep = False))
.sum(level=0)
.rename('DUPLICADOS')
.reset_index())
print(df_1)
ARCHIVO DUPLICADOS
0 fuente1 3.0
1 fuente2 2.0
Método 2
Sin embargo el uso de apply
suele ser desaconsejado
. Puede ser evitado aquí de algunas de las siguientes maneras.
df_1 =(df.duplicated(keep=False)
.groupby(df['ARCHIVO'])
.sum()
.rename('DUPLICADOS')
.reset_index())
print(df_1)
ARCHIVO DUPLICADOS
0 fuente1 3.0
1 fuente2 2.0
Método 3
O bien realizar una indexación booleana
para quedarnos con un DataFrame de duplicados y entonces calcular el tamaño con groupby.size
(df[df.duplicated(keep = False)].groupby('ARCHIVO')
.size()
.rename('DUPLICADOS')
.reset_index() )
Método 4
Tambien en este último caso podríamos utilizar Series.value_counts
.
(df.loc[df.duplicated(keep = False),'ARCHIVO']
.value_counts()
.rename('DUPLICADOS')
.rename_axis(index = 'ARCHIVO')
.reset_index())
¿Qué método elegir?, normalmente value_counts
suele ser mas rápido que utilizar groupby
para marcos de datos muy grandes. Puedes experimentar para ver cual es el más rápido para ti. Sim embargo, creo que el mejor método sera el método 2, ya que no tenemos que realizar la indexación boolean y la función suma de una Series es muy rápida. Creo que este método funcionara bien sea cual sea las dimensiones de tu marco de datos.
%%timeit
(df.loc[df.duplicated(keep = False),'ARCHIVO']
.value_counts()
.rename('DUPLICADOS')
.rename_axis(index = 'ARCHIVO')
.reset_index())
4.31 ms ± 691 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
%%timeit
df_1 = (df.groupby(['ARCHIVO'])
.apply(lambda x: x.duplicated(keep = False))
.sum(level=0)
.rename('DUPLICADOS')
.reset_index())
9.06 ms ± 437 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
%%timeit
df[df.duplicated(keep = False)].groupby('ARCHIVO').size().rename('DUPLICADOS').reset_index()
4.9 ms ± 1.32 ms per loop (mean ± std. dev. of 7 runs, 100 loops each)
%%timeit
df_1 = df.duplicated(keep=False).groupby(df['ARCHIVO']).sum().rename('DUPLICADOS').reset_index()
4.2 ms ± 134 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)