0

básicamente lo que intento hacer es econtrar los duplicados de un data frame, hasta aquí todo bien usando pandas dfObj.duplicated().

el problema es que necesito referenciarlos a su primera ocurrencia o fila original, de modo que podamos tener algo como lo siguiente:

    Nombre     Edad     Duplicado?

0   Roberto    29       No
1   Jorge      25       No
2   Roberto    29       Sí, 0
3   Pablo      35       No
4   Roberto    29       Sí, 0

son bienvenidas sus ideas, gracias!

2
  • Una duda... en la fila 0 Roberto no debería tener en la columna "Duplicado" un "Si"? O por ser la primera ocurrencia no se cuenta como duplicado?
    – abulafia
    Commented el 20 oct. 2020 a las 19:02
  • Si podria tener columna, lo que quise dar a entender es que necesito referenciar a la fila con la que se encuentra duplicado, de forma que puedas tener la fila duplicada y el indece de con cual se duplica. Espero darme a entender jeje. gracias!
    – Roberto Z
    Commented el 20 oct. 2020 a las 19:25

2 respuestas 2

0

Tengo el siguiente dataframe (copiado del que suministras de ejemplo):

>>> df
    Nombre  Edad
0  Roberto    29
1    Jorge    25
2  Roberto    29
3    Pablo    35
4  Roberto    29

Voy a programar una función que después usaré en df.apply(), con axis=1 para que itere por filas en vez de por columnas. Por tanto esa función va a recibir (cada vez que es llamada) una de las filas del dataframe anterior. Esa fila la recibirá en forma de Series. Por ejemplo, en la primera invocación recibiría la siguiente Series:

Nombre    Roberto
Edad           29
Name: 0, dtype: object

Como se ve, si la variable en la que la recibe la llamo x, tendremos en x.name el índice de la fila (0) y en x.values los que corresponden a esa fila, es decir, "Roberto" y 29.

Mi idea es componer con esos dos valores una tupla ("Roberto", 29) que pueda usar como clave para un diccionario, y usar ese diccionario para llevar un registro de si la tupla ya apareció antes (sería una fila repetida) o si es la primera vez. En caso de que haya aparecido antes el diccionario guardará la fila en que lo hizo.

En base a esa información la función retornará una cadena como "No" (si la tupla no estaba en el diccionario) o "Sí, N" (si ya estaba, siendo N el valor guardado en ese diccionario).

Esta sería esa función:

unicas = {}     # Este es el diccionario que llevará el registro

def es_duplicado(x):
  datos = tuple(x.values)         # Sacar los datos de esa fila
  index = x.name                  # y su índice
  if datos in unicas:             # ¿Estaba en el diccionario?
    return f"Sí, {unicas[datos]}"
  else:
    unicas[datos] = index         # No estaba, tomamos nota de ella
    return "No"

Ya solo queda aplicar esa función:

df["Duplicado?"] = df.apply(es_duplicado, axis=1)

El resultado:

    Nombre  Edad  Duplicado?
0  Roberto    29          No
1    Jorge    25          No
2  Roberto    29       Sí, 0
3    Pablo    35          No
4  Roberto    29       Sí, 0
2
  • gracias, ya lo intente pero el resultado me da No en tondos los casos, algo que es importante comentar y que omiti es que la fuente de los datos es un archivo de excel, lo leo y guardo de usando pandas... df = pd.read_excel () y despues dfObj = pd.DataFrame(df)
    – Roberto Z
    Commented el 20 oct. 2020 a las 19:50
  • Si el código funciona sobre los datos de ejemplo, pero no sobre los datos reales, es que no hay filas duplicadas en tu excel. Fíjate que mi código busca dos filas que sean idénticas en todas sus celdas (en el ejemplo, ha de repetirse tanto el nombre como la edad, y si hubiera más columnas, las tendría todas en cuenta). Si sólo necesitas buscar repetidos en base a un subconjunto de columnas, la solución sería otra. En ese caso deberías dar un ejemplo más próximo a lo que tienes.
    – abulafia
    Commented el 21 oct. 2020 a las 20:10
0

Podrías utilizar transform con idxmin para obtener el índice y series.str.cat para unir donde hay duplicados con Series.where

primer_indice = df.groupby('Nombre')['Nombre'].transform('idxmin').astype(str)
duplicados = df['Nombre'].duplicated().map({True : 'Si', False : 'No'})

df['duplicados'] = duplicados.str.cat(primer_indice, ', ').where(duplicados.eq('Si'), duplicados)

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.