Para este caso lo que tienes que definir es una métrica de similitud entre textos. Por ejemplo, el operador ==
te da como salida o 1
o 0
, que seria útil si los nombres fueran los mismos en df1
y en df2
. Por otra parte, isin()
funcionaría si CC la villa
fuera solo la villa
. Estas son métricas binarias, pero podrías usar otra metrica continua, algo que sirva para decir que Centro Comercial de La Villa (N)
y CC la villa
, no son ni totalmente diferentes (0 %) ni totalmente idénticas (100 %).
Por ejemplo, basado en esta respuesta en inglés se puede usar un objeto de la clase difflib.SequenceMatcher()
, que te daría un nivel de similitud, por ejemplo:
from difflib import SequenceMatcher
SequenceMatcher(None, "Centro Comercial de La Villa (N)", "CC La Villa").ratio()
# 0.5116279069767442
Con esto tendrías que definir un umbral para considerar que los nombres hacen referencia a los mismos establecimientos.
Ahora si hacemos las comparaciones entre los elementos de df2
y df1
y creamos un nuevo DataFrame con este nivel
de similitud tenemos (He añadido un par de nombres):
import pandas as pd
from difflib import SequenceMatcher
df1 = ["Centro Comercial de La Villa (N)","Vecino","M.Ropajes"]
df2 = ["Supermercado Vecino","CC La Villa","Modas Ropajes","Víveres","Establecimiento X", Centro Comercial El diferente]
data_dict = {"nombre_df1":[],"nombre_df2":[],"ratio":[]}
for x in df1:
for y in df2:
ratio = SequenceMatcher(None, y, x).ratio()
data_dict["nombre_df1"].append(x)
data_dict["nombre_df2"].append(y)
data_dict["ratio"].append(ratio)
df_ratio = pd.DataFrame(data_dict)
print(df_ratio)
nombre_df1 nombre_df2 ratio
0 Centro Comercial de La Villa (N) Supermercado Vecino 0.431373
1 Centro Comercial de La Villa (N) CC La Villa 0.511628
2 Centro Comercial de La Villa (N) Modas Ropajes 0.222222
3 Centro Comercial de La Villa (N) Víveres 0.153846
4 Centro Comercial de La Villa (N) Establecimiento X 0.204082
5 Centro Comercial de La Villa (N) Centro Comercial El diferente 0.622951
6 Vecino Supermercado Vecino 0.480000
7 Vecino CC La Villa 0.235294
8 Vecino Modas Ropajes 0.105263
9 Vecino Víveres 0.307692
10 Vecino Establecimiento X 0.434783
11 Vecino Centro Comercial El diferente 0.228571
12 M.Ropajes Supermercado Vecino 0.142857
13 M.Ropajes CC La Villa 0.100000
14 M.Ropajes Modas Ropajes 0.727273
15 M.Ropajes Víveres 0.250000
16 M.Ropajes Establecimiento X 0.076923
17 M.Ropajes Centro Comercial El diferente 0.052632
Como puedes ver, si seleccionas un umbral de 0.5
te quedan estas coincidencias:
print(df_ratio[df_ratio["ratio"] > 0.5])
nombre_df1 nombre_df2 ratio
1 Centro Comercial de La Villa (N) CC La Villa 0.511628
5 Centro Comercial de La Villa (N) Centro Comercial El diferente 0.622951
14 M.Ropajes Modas Ropajes 0.727273
La segunda entrada sería un Falso positivo. Y la coincidencia entre Vecino
y Supermercado Vecino
con ratio
de 0.48, sería un Falso Negativo.
Una idea para minimizar estos errores, es preprocesar el texto. Por ejemplo, convirtiendo todo a minúsculas, reemplazando palabras comunes (Centro Comercial
por CC
), eliminando otras palabras repetitivas(supermercado
, por ejemplo).
¿Cómo encontrar aquellos nombres que están en df2
pero no en df1
?:
Después de hallar el "nivel" de similitud, se puede agrupar el nuevo DataFrame df_ratio
por nombre_df2
usando el valor máximo encontrado para dicho nombre. La razón es que si un nombre tiene un valor máximo alto se asume que encontró un nombre similar en df1
. De lo contrario, todos los valores de "nivel" serán bajos. Por ejemplo:
df_ratio_max = df_ratio[["nombre_df2","ratio"]].groupby("nombre_df2").max()
print(df_ratio_max.sort_values("ratio", ascending=False))
ratio
nombre_df2
Modas Ropajes 0.727273
Centro Comercial El diferente 0.622951
CC La Villa 0.511628
Supermercado Vecino 0.480000
Establecimiento X 0.434783
Víveres 0.307692
De igual manera que en el caso anterior, si se usa un umbral de 0.5
, habrá 1 falso positivo y un falso negativo. Así que el preprocesamiento del texto sigue siendo necesario.
Convirtiendo a minúsculas, reemplazando centro comercial
por cc
y eliminando supermercado
mejora el resultado para el mismo umbral 0.5
:
def preprocess_text(text):
text = text.lower()
text = re.sub(r"centro comercial","cc", text)
text = re.sub(r"supermercado","",text)
return text
df1 = [preprocess_text(s) for s in df1]
df2 = [preprocess_text(s) for s in df2]
...
<El mismo código de antes>
...
ratio
nombre_df2
vecino 0.923077
cc la villa 0.758621
modas ropajes 0.727273
cc el diferente 0.484848
establecimiento x 0.434783
víveres 0.375000