2

Estimados, alguien conoce un método para encontrar coincidencias no exactas entre cadenas de texto?

Por ejemplo:

Tengo el siguiente texto "STATUS MSG PACK ACM L" (columna 1) y debería devolverme "PACK L" (columna 2).

Tengo 2 listas, una escrita por una persona que son textos más largos y otra que corresponde al mensaje a buscar que es el correcto.

Adjunto un ejemplo de las dos listas: la columna 1 se debe buscar en la columna 2, y arrojar el elemento de la columna 2 más asociado:

https://drive.google.com/file/d/0B11sJdX_AaJBd2lvWGszaFpXM2c/view?usp=sharing

6
  • Viendo la planilla, entiendo que "STATUS MSG PACK ACM L" se correspondería con "RECIRC FAN LWR R" confirma esto por que si es así no necesitas una búsqueda difusa, sino una lista de tuplas, dónde buscas por una columna y retornas el valor de la otra. el 27 jul. 2017 a las 14:11
  • Hola, "STATUS MSG PACK ACM L" se debe asociar al elemento más parecido en ese caso corresponde a "PACK L" que está en algún lugar de la columna 2 el 27 jul. 2017 a las 14:13
  • Ok, entiendo, ahora por que dices que STATUS MSG PACK ACM Ldebe "matchearse" con PACK L si en la misma segunda columnas tienes PACK ACM L ? Cualquier forma de búsqueda difusa me parece que encontraría más parecido PACK ACM L que PACK L. el 27 jul. 2017 a las 14:20
  • Para cada elemento de la columna 1 debo arrojar uno de la columna 2. En ese caso para para todos de la columna 1 que contengan "PACK L" dentro de la cadena, debería arrojar "PACK L" como resultado el 27 jul. 2017 a las 14:26
  • Jorge, cualquier solución de búsqueda no exacta va a encontrar que PACK ACM L es más parecido a STATUS MSG PACK ACM L que PACK L, simplemente por que coinciden mas palabras 3, versus 2. O no te estoy entendiendo, o el ejemplo no es el adecuado. el 27 jul. 2017 a las 14:39

1 respuesta 1

6

Para búsquedas difusas hay mútiples herramientas y métodos, pero usando Python de fabrica contamos ya, con la librería base difflib que nos permite obtener un ratio de semejanza entre cadenas. Por ejemplo:

from difflib import SequenceMatcher as SM

s1 = 'Hola Mundo'
s2 = 'Hola Mundo cruel'
print(SM(None, s1, s2).ratio())

s1 = 'Hola Mundo'
s2 = 'Hola Mundo!'
print(SM(None, s1, s2).ratio())
> 0.7692307692307693
> 0.9523809523809523

En este ejemplo medimos la semejanza de Hola Mundocon otras cadenas y vemos que lógicamente Hola Mundo! obtiene un ratio de semejanza mayor que Hola Mundo cruel. La idea entonces, sería recorrer una lista, y por cada elemento, verificar los ratios con respecto a los elemento de la segunda lista, el mayor será el más semejante. Algo así:

import difflib

lista1 = ["STATUS MSG PACK ACM L"]
lista2 = ["LOW LIMIT VALVE L",
          "LOW LIMIT VALVE R",
          "PACK ACM L",
          "PACK ACM R",
          "PACK L",
          "PACK MODE L",]

d = difflib.Differ()

for search in lista1:
  matches = sorted(lista2, key=lambda x: difflib.SequenceMatcher(None, x, search).ratio(), reverse=True)    
  print("{0} se compara con {1} el más parecido es {2}".format(search, matches, matches[0]))

En matches terminamos teniendo los elemente de la segunda lista, ordenados de mayor semejanza a menor, el primer elemento debiera ser el óptimo.

Importante: De esta forma siempre vamos a encontrar un "parecido", como mejora adicional tal vez debas contemplar un ratio mínimo de semejanza para considerar que se ha logrado el "matching", éste valor lo puedes definir únicamente experimentando.

Mejor aún la forma sugerida por FjSevilla por ser más compacta y por que ya incorpora la lógica para evaluar el ratio mínimo :

matches = difflib.get_close_matches(search, possibilities = lista2, n = 1, cutoff = 0.6)

Como curiosidad, faltaría indicar que difflib esta basada fuertemente en el algoritmo THE GESTALT APPROACH de 1987.

2
  • Buena respuesta Patricio. La verdad es que he usado esta biblioteca un par de veces para comparar archivos y me encanta. En este caso podria usar simplemente algo como difflib.get_close_matches("STATUS MSG PACK ACM L", possibilities = lista2, n = 1, cutoff = 0.6)) Lo cual le retornaria una lista que solo contiene el más semejante (o vacia si no lo hay). cutoff es el ratio minimo y debe ser definido empiricamente como comentas. Saludos.
    – FJSevilla
    el 27 jul. 2017 a las 16:53
  • Gracias @FJSevilla, es sin duda una forma más óptima y simple, la incorporo a la respuesta. Saludos el 27 jul. 2017 a las 16:59

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.