3

Tengo dos DataFrames, df1 y df2, donde en la primera columna de ambos tengo colocados los nombres de establecimientos (en df2 tengo más establecimientos que en df1). El problema es que en df1 los establecimientos están escritos de forma distinta a df2, por ejemplo:

df1:

Nombre Establecimiento    
----------
Centro Comercial de La Villa (N)
Vecino
M.Ropajes
----------

df2

Nombre del Establecimiento
----------
Supermercado Vecino
CC La Villa
Modas Ropajes
Víveres 
...
----------

Mi intención es buscar aquellos establecimientos de df2 que también están en df1 y dado que es una lista muy larga, querría automatizarlo usando Python.

Dada la diversidad de formatos de escritura tengo que hacer una búsqueda mediante coincidencias (por ejemplo, La Villa debería de aparecer en los nombres de los dos DF). Nótese que el orden no tiene por qué ser el mismo en los dos DF por lo que habría que buscar que la primera palabra de df2 estuviese contenida en df1 completo (usando isin, por ejemplo)

¿Alguna idea de como abordarlo?

Muchas gracias :D

2 respuestas 2

5

Para este caso lo que tienes que definir es una métrica de similitud entre textos. Por ejemplo, el operador == te da como salida o 1 o 0, que seria útil si los nombres fueran los mismos en df1 y en df2. Por otra parte, isin() funcionaría si CC la villa fuera solo la villa. Estas son métricas binarias, pero podrías usar otra metrica continua, algo que sirva para decir que Centro Comercial de La Villa (N) y CC la villa, no son ni totalmente diferentes (0 %) ni totalmente idénticas (100 %).

Por ejemplo, basado en esta respuesta en inglés se puede usar un objeto de la clase difflib.SequenceMatcher(), que te daría un nivel de similitud, por ejemplo:

from difflib import SequenceMatcher

SequenceMatcher(None, "Centro Comercial de La Villa (N)", "CC La Villa").ratio()
# 0.5116279069767442

Con esto tendrías que definir un umbral para considerar que los nombres hacen referencia a los mismos establecimientos.

Ahora si hacemos las comparaciones entre los elementos de df2 y df1 y creamos un nuevo DataFrame con este nivel de similitud tenemos (He añadido un par de nombres):

import pandas as pd
from difflib import SequenceMatcher


df1 = ["Centro Comercial de La Villa (N)","Vecino","M.Ropajes"]
df2 = ["Supermercado Vecino","CC La Villa","Modas Ropajes","Víveres","Establecimiento X", Centro Comercial El diferente]


data_dict = {"nombre_df1":[],"nombre_df2":[],"ratio":[]}
for x in df1:
    for y in df2:
        ratio = SequenceMatcher(None, y, x).ratio() 
        data_dict["nombre_df1"].append(x)
        data_dict["nombre_df2"].append(y)
        data_dict["ratio"].append(ratio)


df_ratio = pd.DataFrame(data_dict)
print(df_ratio)
                          nombre_df1                     nombre_df2     ratio
0   Centro Comercial de La Villa (N)            Supermercado Vecino  0.431373
1   Centro Comercial de La Villa (N)                    CC La Villa  0.511628
2   Centro Comercial de La Villa (N)                  Modas Ropajes  0.222222
3   Centro Comercial de La Villa (N)                        Víveres  0.153846
4   Centro Comercial de La Villa (N)              Establecimiento X  0.204082
5   Centro Comercial de La Villa (N)  Centro Comercial El diferente  0.622951
6                             Vecino            Supermercado Vecino  0.480000
7                             Vecino                    CC La Villa  0.235294
8                             Vecino                  Modas Ropajes  0.105263
9                             Vecino                        Víveres  0.307692
10                            Vecino              Establecimiento X  0.434783
11                            Vecino  Centro Comercial El diferente  0.228571
12                         M.Ropajes            Supermercado Vecino  0.142857
13                         M.Ropajes                    CC La Villa  0.100000
14                         M.Ropajes                  Modas Ropajes  0.727273
15                         M.Ropajes                        Víveres  0.250000
16                         M.Ropajes              Establecimiento X  0.076923
17                         M.Ropajes  Centro Comercial El diferente  0.052632

Como puedes ver, si seleccionas un umbral de 0.5 te quedan estas coincidencias:

print(df_ratio[df_ratio["ratio"] > 0.5])
                          nombre_df1                     nombre_df2     ratio
1   Centro Comercial de La Villa (N)                    CC La Villa  0.511628
5   Centro Comercial de La Villa (N)  Centro Comercial El diferente  0.622951
14                         M.Ropajes                  Modas Ropajes  0.727273

La segunda entrada sería un Falso positivo. Y la coincidencia entre Vecino y Supermercado Vecino con ratio de 0.48, sería un Falso Negativo.

Una idea para minimizar estos errores, es preprocesar el texto. Por ejemplo, convirtiendo todo a minúsculas, reemplazando palabras comunes (Centro Comercial por CC), eliminando otras palabras repetitivas(supermercado, por ejemplo).


¿Cómo encontrar aquellos nombres que están en df2 pero no en df1?:

Después de hallar el "nivel" de similitud, se puede agrupar el nuevo DataFrame df_ratio por nombre_df2 usando el valor máximo encontrado para dicho nombre. La razón es que si un nombre tiene un valor máximo alto se asume que encontró un nombre similar en df1. De lo contrario, todos los valores de "nivel" serán bajos. Por ejemplo:

df_ratio_max = df_ratio[["nombre_df2","ratio"]].groupby("nombre_df2").max()
print(df_ratio_max.sort_values("ratio", ascending=False))
                                  ratio
nombre_df2                             
Modas Ropajes                  0.727273
Centro Comercial El diferente  0.622951
CC La Villa                    0.511628
Supermercado Vecino            0.480000
Establecimiento X              0.434783
Víveres                        0.307692

De igual manera que en el caso anterior, si se usa un umbral de 0.5, habrá 1 falso positivo y un falso negativo. Así que el preprocesamiento del texto sigue siendo necesario.

Convirtiendo a minúsculas, reemplazando centro comercial por cc y eliminando supermercado mejora el resultado para el mismo umbral 0.5:

def preprocess_text(text):
    text = text.lower()
    text = re.sub(r"centro comercial","cc", text)
    text = re.sub(r"supermercado","",text)
    return text

df1 = [preprocess_text(s) for s in df1]
df2 = [preprocess_text(s) for s in df2]

...
<El mismo código de antes>
...    

                      ratio
nombre_df2                 
 vecino            0.923077
cc la villa        0.758621
modas ropajes      0.727273
cc el diferente    0.484848
establecimiento x  0.434783
víveres            0.375000
3
  • Esta opción ya la había probado, el problema con el que me he encontrado es que lo que quiero son las que no aparecen en una lista pero que si están en la otra. Cuando saco, p.e., los que tienen el ratio < 0.2 o menos, me sale una lista larguísima con todos los elementos y los del otro DF y sus malas coincidencias. En definitiva, lo que necesito es reducir la lista de establecimientos a aquellos que no aparecen en absoluto en el otro lado. ¿Alguna idea para hacerlo así? La idea de eliminar partes innecesarias cómo “supermercado” me ha parecido muy buena. Gracias por ella.
    – DR17
    Commented el 21 nov. 2019 a las 20:21
  • 1
    Si entiendo bien, quieres encontrar los que aparecen en df2 pero no en df1, ¿Es así? En ese caso lo que tendrias que hacer es agrupar por nombre_df2 y encontrar aquellos con un valor máximo menor a un umbral. He actualizado la respuesta con esto. Commented el 22 nov. 2019 a las 9:13
  • @RESMP17 si esta opción ya la habías probado, deberías indicarlo en la pregunta.
    – fedorqui
    Commented el 22 nov. 2019 a las 9:39
0

La mejor opción seria poder identificar las variantes que podria tener un nombre y guardarlo en un diccionario o una limpieza pero no serviria si se trata de un volumen de datos grande o que podrían venir nuevas variantes. Para ello otra opción seria algo como esto:

import difflib
seq = difflib.SequenceMatcher(None, 'M. Ropaje', 'Moda Ropaje')
d = seq.ratio()*100
print('Similitud: '.format(d))

Similitud: 80.0

Deberias identificar a partir de que ratio consideras "similares". Y ten claro que esto no es super preciso.. Tal vez podrias combinar ambas opciones.

Suerte!

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.