1

Tengo dos dataframes F1 con 215 filas y F2 con 195 filas, tienen en común una columna, Localidad, sin valores repetidos en los dos casos. Quiero encontrar las diferencias entre las dos columnas para identificar valores que pueden ser el mismo, pero escrito de forma diferente.

F1
Localidad
...
Alcabendas
Colmenar_Viejo
Las_Rozas
Los_Molinos
San_Martin 
Santa_Clara
...
------------------------------
F2
Localidad
...
Alcabendas
Colmenar_Viejo
Rozas,_Las
Molinos,_Los
S._Martin 
Sta._Clara
...
  

He probado con: df=F1[['Localidad']].merge(F2[['Localidad']], how ='outer', indicator='right_only') pero muestra los valores que están en ambas o en una de las dos.

.....
108              Alcobendas        both
109           Comenar_Viejo        both
110               Las_Rozas   left_only
111             Los_Molinos   left_only
112              San_Martin   left_only
........

¿Hay alguna otra forma de hacerlo sin que aparezcan las que están en los dos dataframes? Agradeceré cualquier ayuda.

1
  • Puedes convertir esas columnas a conjuntos python, y usar aritmética de conjuntos. Por ejemplo a=set(F1.Localidad); b=set(F2.Localidad) para después calcular diferencias entre conjuntos, como a-b (te dará los que están en a pero no en b) o b-a (viceversa), o (a|b) - (a&b) (la unión menos la intersección), etc. según lo que necesites.
    – abulafia
    Commented el 25 dic. 2020 a las 12:23

2 respuestas 2

1

Acá les muestro en ejemplo con estos sencillos frames, las columnas a comparar son:

  • DF1 es "lkey"
  • DF2 es "rkey"

Observen que en

  • DF1 está la fila 3, está un valor D/5
  • DF2 está la fila 3, está un valor E/9

Esos son van a ser los datos claves para ver las diferencias, puesto que en:

  • DF1 no está el valor E/9
  • DF2 no está el valor D/5
    >>> df1
      lkey  value
    0    A      1
    1    B      2
    2    C      3
    3    D      5


    >>> df2
      rkey  value
    0    A      6
    1    B      7
    2    C      8
    3    E      9

Usaría esta sencilla fórmula con el método "merge" de la biblioteca Pandas

import pandas as pd

df1 = pd.DataFrame({'lkey': ['B', 'D', 'A', 'C'],'value': [1, 2, 3, 5]})
df2 = pd.DataFrame({'rkey': ['A', 'C', 'E', 'B'], 'value': [6, 7, 8, 9]})
merge = pd.merge(df1, df2 , how='outer', indicator='resultado',sort=True, left_on='lkey', right_on='rkey')

Ahora el resultado lo pueden obsevar en la columna "RESULTADO"

  • both = el dato está en los DOS frames
  • left_only = el datos sólo está en el DF1
  • right_only = el dato sólo está en el DF2

Acá está el resultado

      lkey  value_x rkey  value_y   resultado
    0    A      3.0    A      6.0        both
    1    B      1.0    B      9.0        both
    2    C      5.0    C      7.0        both
    3    D      2.0  NaN      NaN   left_only
    4  NaN      NaN    E      8.0  right_only

Luego de manera sencilla se puede filtrar según las coincidencias de la columna "RESULTADO"

    merge[merge.resultado=='left_only']

Dará como resultado los elementos que SÓLO esán en el DF1 y NO están en el DF2

    lkey    value_x rkey    value_y resultado
    3   D   2.0 NaN NaN left_only
0

Entiendo que el resultado que esperas, es el equivalente a un antijoin de SQL donde obtienes sólo aquellos registros que no cruzan en la join. Aquí puedes consultar una explicación sencilla de estos conceptos. Partiendo de tu propio código, para obtener estos resultados en python, con un pequeño cambio podrías obtenerlo, así:

  1. Cambia el valor de indicator y asigna True, tu línea quedaría así:
    outerjoin=df=F1[['Localidad']].merge(F2[['Localidad']], how ='outer', indicator=True)
    print(outerjoin)

Esto traerá todos los resultados de la join en la columna _merge, es decir, los left_only, right_only y both, con el siguiente resultado:

        Localidad      _merge
0      Alcabendas        both
1  Colmenar_Viejo        both
2       Las_Rozas   left_only
3     Los_Molinos   left_only
4      San_Martin   left_only
5     Santa_Clara   left_only
6      Rozas,_Las  right_only
7       S._Martin  right_only
8    Molinos,_Los  right_only
9      Sta._Clara  right_only
  1. Teniendo este resultado, ahora hacemos el antijoin, es decir tomar aquellos registros que no están en ambos (donde _merge sea diferente de both), así:
    antijoin=outerjoin[~(outerjoin['_merge']=='both')].drop('_merge', axis=1)
    print(antijoin)

Y entonces tendrás en antijoin sólo aquellos valores que no están en ambos:

      Localidad
2     Las_Rozas
3   Los_Molinos
4    San_Martin
5   Santa_Clara
6    Rozas,_Las
7     S._Martin
8  Molinos,_Los
9    Sta._Clara

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.