1

Este es mi código pero esta fallando (mas abajo explico porque no da el output correcto), ya que el problema estaría en cómo se están manejando las eliminaciones y en la lógica de comparación.

from difflib import SequenceMatcher

def eliminar_similares(lista):
    nueva_lista = []
    eliminados = set()

    for i, [nombre_rol1, rol1] in enumerate(lista):
        if i not in eliminados:
            nueva_lista.append([nombre_rol1, rol1])
            
            for j, [nombre_rol2, rol2] in enumerate(lista[i + 1:], start=i + 1):
                if j not in eliminados:
                    #Calcular la relación de similitud entre dos cadenas de texto (devuelven un valor entre 0 y 1). 
                    #En este caso, se aplica a los elementos de las sublistas nombre_rol1 y nombre_rol2 en las posiciones [0], que corresponden a los nombres.
                    similitud_nombre = SequenceMatcher(None, nombre_rol1[0], nombre_rol2[0]).ratio()
                    #En este caso, se aplica a los elementos de las sublistas nombre_rol1 y nombre_rol2 en las posiciones [1], que corresponden a los roles.
                    similitud_rol = SequenceMatcher(None, nombre_rol1[1], nombre_rol2[1]).ratio()
                    
                    if similitud_nombre > 0.85 and similitud_rol > 0.85:
                        eliminados.add(j)

    return nueva_lista
#Lista con información de prueba
info_about_speaker_list = [
    ['nombre', ['Yui Kaeri']],
    ['donde_nacio', ['Ossaka']],
    ['nombres_de_personas_mencionadas', [
        ['Santino', 'hijo'], ['Shion Uzaki', 'madre'], ['Lorentz', 'padre'],
        ['Ricardo Marino', 'esposo'], ['Shion Uzuki', 'madre'], ['Marcelo', 'tío'],
        ['Lamtztnh', 'padre'], ['Ritoko Ai', 'hija'], ['Ritako AI', 'hija'], ['Marcela', 'tía'], ['Shion Usuki', 'madre']
    ]],
    ['habilidades_destacadas_y_talentos', ['la construccion de robots', 'la templanza y planificacion']]
]

# Filtrar la lista 'nombres_de_personas_mencionadas'
index_nombres_mencionados = next((i for i, x in enumerate(info_about_speaker_list) if x[0] == 'nombres_de_personas_mencionadas'), None)

#Filtrar y eliminar sublistas duplicadas dentro de la sección "nombres_de_personas_mencionadas" de info_about_speaker_list, utilizando la función eliminar_similares()
if index_nombres_mencionados is not None:
    info_about_speaker_list[index_nombres_mencionados][1] = eliminar_similares(info_about_speaker_list[index_nombres_mencionados][1])

print(info_about_speaker_list) # --> Imprimiría como output la lista original tras modificarle

Las sublistas de esta lista están conformadas por ['nombre', 'rol'], por ejemplo 'Santino' es el nombre y 'hijo' es el rol

Usando la librería from difflib import SequenceMatcher determinar el porcentaje de coincidencia, si alguna de las sublistas de la forma ['nombre', 'rol'] dentro de ['nombres_de_personas_mencionadas', ] tienen mas del 85% de similitud tanto en 'nombre' como en 'rol' con otra sublista entonces eliminar la sublista que aparezca posterior dejando solo la que primero aparece (es decir, de las 2 sublistas que han sido comparadas, y se supero el umbral de coincidencia, entonces se quita la de índice mayor, al considerarla un elemento con posible información redundante).

En este caso debería quedar como output una lista maso menos como esta:

info_about_speaker_list = [
    ['nombre', ['Yui Kaeri']],
    ['donde_nacio', ['Ossaka']],
    ['nombres_de_personas_mencionadas', [
        ['Santino', 'hijo'], ['Shion Uzaki', 'madre'], ['Lorentz', 'padre'],
        ['Ricardo Marino', 'esposo'],
        ['Lamtztnh', 'padre'], ['Ritoko Ai', 'hija']
    ]],
    ['habilidades_destacadas_y_talentos', ['la construccion de robots', 'la templanza y planificacion']]
]

El problema es que con mi código, no puedo obtener ese output, y me da este incorrecto, en el cual cuando hay coincidencia directamente elimina todas las que coincidan y no todas menos la de menor índice (la primera, que se interpreta como la original, y el resto como redundancias):

info_about_speaker_list = [
    ['nombre', ['Yui Kaeri']], 
    ['donde_nacio', ['Ossaka']], 
    ['nombres_de_personas_mencionadas', [
        ['Santino', 'hijo'], ['Lorentz', 'padre'], 
        ['Ricardo Marino', 'esposo'], ['Marcelo', 'tío'], 
        ['Lamtztnh', 'padre']]], 
    ['habilidades_destacadas_y_talentos', ['la construccion de robots', 'la templanza y planificacion']]
]

¿Qué debería modificar en la lógica de la función eliminar_similares(lista) de mi código? Espero puedan ayudarme.

4
  • No veo de dónde sale la lista que dices errónea. (eg: 'Lantz' no está en la sublista de ejemplo). Yo he probado con la sublista que pones y me sale [['Santino', 'hijo'], ['Shion Uzaki', 'madre'], ['Lorentz', 'padre'], ['Ricardo Marino', 'esposo'], ['Marcelo', 'tío'], ['Lamtztnh', 'padre']], algo que veo correcto. Commented el 7 dic. 2023 a las 0:41
  • @ChemaCortes Perdón, es lo mismo pero ahí cambie 'Lantz' por 'Lamtztnh', creo que había quedado de un test anterior. Pero el problema de lógica esta que en la lista output por error elimino, por ejemplo tanto a ['Shion Uzaki', 'madre'] como a las que aparecen después ['Shion Uzuki', 'madre'] y ['Shion Usuki', 'madre'], cuando enrealidad tuvo que haber dejado a la primer a aparición, que es ['Shion Uzaki', 'madre'] , asumiendo a las otras 2 como redundantes Commented el 7 dic. 2023 a las 0:51
  • Otro ejemplo sería ['Marcelo', 'tío'] y ['Marcela', 'tía'], aunque sepamos que son cosas distintas, pero para esta lógica tendría que dejar solo ['Marcelo', 'tío'] por aparecer primero y eliminar a ['Marcela', 'tía'], ya que sus strings 'Marcelo' y 'Marcela' tienen mas de 85% de similitud, y las strings de roles "tío" y "tía" también tienen mas de 85% de similitud (el 85 es por probar). Aquí sería comparar entre 2, en el caso de ['Shion Uzaki', 'madre'], ['Shion Uzuki', 'madre'] y ['Shion Uzuki', 'madre'] eran 3, pero podrían ser mas y siempre debería conservar la primera Commented el 7 dic. 2023 a las 1:06
  • Creo que la respuesta de @FJSevilla lo aclara todo bastante bien. Commented el 11 dic. 2023 a las 23:10

1 respuesta 1

2

Tienes un error en los argumentos que pasas a SequenceMatcher:

similitud_nombre = SequenceMatcher(None, nombre_rol1[0], nombre_rol2[0]).ratio()
similitud_rol = SequenceMatcher(None, nombre_rol1[1], nombre_rol2[1]).ratio()

Las variables nombre_rol1 y nombre_rol2 no son las sublistas, es el primer item de cada una fruto del desempaquetado hecho en el for, si indizas sobre ellas (nombre_rol1[0], nombre_rol1[1]) lo que obtienes es la primera y segunda letra de los nombres. Indizar solo seria correcto si no desempaquetas las sublistas en el for:

lista = [
    ['Santino', 'hijo'], ['Shion Uzaki', 'madre'], ['Lorentz', 'padre']
]

for i, (nombre_rol1, rol1) in enumerate(lista):
    print(nombre_rol1[0], "|" ,nombre_rol1[1])

# S | a
# S | h
# L | o

for i, (nombre_rol1, rol1) in enumerate(lista):
    print(nombre_rol1, "|", rol1)

# Santino | hijo
# Shion Uzaki | madre
# Lorentz | padre

# Si no desempaquetas si seria correcto indizar luego
for i, nombre_rol1 in enumerate(lista):
    print(nombre_rol1[0], "|", nombre_rol1[1])

# Santino | hijo
# Shion Uzaki | madre
# Lorentz | padre

debe ser por tanto:

similitud_nombre = SequenceMatcher(None, nombre_rol1, nombre_rol2).ratio()
similitud_rol = SequenceMatcher(None, rol1, rol2).ratio()

Es decir:

from difflib import SequenceMatcher

def eliminar_similares(lista):
    nueva_lista = []
    eliminados = set()

    for i, (nombre1, rol1) in enumerate(lista):
        if i not in eliminados:
            nueva_lista.append([nombre1, rol1])

            for j, (nombre2, rol2) in enumerate(lista[i + 1:], start=i + 1):
                if j not in eliminados:
                    #Calcular la relación de similitud entre dos cadenas de texto (devuelven un valor entre 0 y 1). 
                    #En este caso, se aplica a los primeros elementos de las sublistas que se corresponden con el nombre, nombre1 y nombre2.
                    similitud_nombre = SequenceMatcher(None, nombre1, nombre2).ratio()
                    #En este caso, se aplica a los segundos elementos de las sublistas, que se corresponden con los roles,  rol1 y rol2.
                    similitud_rol = SequenceMatcher(None, rol1, rol2).ratio()
                    if similitud_nombre > 0.85 and similitud_rol > 0.85:
                        eliminados.add(j)
    return nueva_lista

Que da como salida:

[['Santino', 'hijo'], ['Shion Uzaki', 'madre'],
 ['Lorentz', 'padre'], ['Ricardo Marino', 'esposo'],
 ['Marcelo', 'tío'], ['Lamtztnh', 'padre'],
 ['Ritoko Ai', 'hija'], ['Ritako AI', 'hija'],
 ['Marcela', 'tía'], ['Shion Usuki', 'madre']]

Observa que ['Marcela', 'tía'] no se elimina:

>>> SequenceMatcher(None, "tio", "tia").ratio()
0.6666666666666666

Cambia solo una letra, pero es una letra de una palabra de tres letras, por lo que la proporción de similitud es 2/3. Algo similar pasa con ['Ritoko Ai', 'hija'] y ['Ritako AI', 'hija']:

>>> SequenceMatcher(None,'Ritoko Ai', 'Ritako AI').ratio()
0.7777777777777778

En este caso porque i e I no se consideran lo mismo, aunque puede que esto solo sea un typo en tu ejemplo, si cambiamos i por I si se eliminaran:

>>> SequenceMatcher(None,'Ritoko AI', 'Ritako AI').ratio()
0.8888888888888888

Otro caso es

>>> SequenceMatcher(None,'Shion Usuki', 'Shion Uzaki').ratio()
0.8181818181818182

Pero estos casos no son problema de la función encargada de eliminar las sublistas en si, de no desear que ocurran estas cosas es tema de adaptar SequenceMatcher, de sanear sus entradas o ponderar la salida.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.