Skip to main content
1 de 3

Problema al filtrar y eliminar sublistas duplicadas con umbral de similitud

Este es mi código pero esta fallando (mas abajo explico porque no da el output correcto), ya que el problema estaría en cómo se están manejando las eliminaciones y en la lógica de comparación.

from difflib import SequenceMatcher

def eliminar_similares(lista):
    nueva_lista = []
    eliminados = set()

    for i, [nombre_rol1, rol1] in enumerate(lista):
        if i not in eliminados:
            nueva_lista.append([nombre_rol1, rol1])
            
            for j, [nombre_rol2, rol2] in enumerate(lista[i + 1:], start=i + 1):
                if j not in eliminados:
                    #Calcular la relación de similitud entre dos cadenas de texto (devuelven un valor entre 0 y 1). 
                    #En este caso, se aplica a los elementos de las sublistas nombre_rol1 y nombre_rol2 en las posiciones [0], que corresponden a los nombres.
                    similitud_nombre = SequenceMatcher(None, nombre_rol1[0], nombre_rol2[0]).ratio()
                    #En este caso, se aplica a los elementos de las sublistas nombre_rol1 y nombre_rol2 en las posiciones [1], que corresponden a los roles.
                    similitud_rol = SequenceMatcher(None, nombre_rol1[1], nombre_rol2[1]).ratio()
                    
                    if similitud_nombre > 0.85 and similitud_rol > 0.85:
                        eliminados.add(j)

    return nueva_lista
#Lista con información de prueba
info_about_speaker_list = [
    ['nombre', ['Yui Kaeri']],
    ['donde_nacio', ['Ossaka']],
    ['nombres_de_personas_mencionadas', [
        ['Santino', 'hijo'], ['Shion Uzaki', 'madre'], ['Lorentz', 'padre'],
        ['Ricardo Marino', 'esposo'], ['Shion Uzuki', 'madre'], ['Marcelo', 'tío'],
        ['Lamtztnh', 'padre'], ['Ritoko Ai', 'hija'], ['Ritako AI', 'hija'], ['Marcela', 'tía'], ['Shion Usuki', 'madre']
    ]],
    ['habilidades_destacadas_y_talentos', ['la construccion de robots', 'la templanza y planificacion']]
]

# Filtrar la lista 'nombres_de_personas_mencionadas'
index_nombres_mencionados = next((i for i, x in enumerate(info_about_speaker_list) if x[0] == 'nombres_de_personas_mencionadas'), None)

#Filtrar y eliminar sublistas duplicadas dentro de la sección "nombres_de_personas_mencionadas" de info_about_speaker_list, utilizando la función eliminar_similares()
if index_nombres_mencionados is not None:
    info_about_speaker_list[index_nombres_mencionados][1] = eliminar_similares(info_about_speaker_list[index_nombres_mencionados][1])

print(info_about_speaker_list) # --> Imprimiría como output la lista original tras modificarle

Las sublistas de esta lista están conformadas por ['nombre', 'rol'], por ejemplo 'Santino' es el nombre y 'hijo' es el rol

Usando la librería from difflib import SequenceMatcher determinar el porcentaje de coincidencia, si alguna de las sublistas de la forma ['nombre', 'rol'] dentro de ['nombres_de_personas_mencionadas', ] tienen mas del 85% de similitud tanto en 'nombre' como en 'rol' con otra sublista entonces eliminar la sublista que aparezca posterior dejando solo la que primero aparece (es decir, de las 2 sublistas que han sido comparadas, y se supero el umbral de coincidencia, entonces se quita la de índice mayor, al considerarla un elemento con posible información redundante).

En este caso debería quedar como output una lista maso menos como esta:

info_about_speaker_list = [
    ['nombre', ['Yui Kaeri']],
    ['donde_nacio', ['Ossaka']],
    ['nombres_de_personas_mencionadas', [
        ['Shinji', 'hijo'], ['Shion Uzaki', 'madre'], ['Lorentz', 'padre'],
        ['Ricardo Marino', 'esposo'],
        ['Lamtztnh', 'padre'], ['Ritoko Ai', 'hija']
    ]],
    ['habilidades_destacadas_y_talentos', ['la construccion de robots', 'la templanza y planificacion']]
]

El problema es que con mi código, no puedo obtener ese output, y me da este incorrecto, en el cual cuando hay coincidencia directamente elimina todas las que coincidan y no todas menos la de menor índice (la primera, que se interpreta como la original, y el resto como redundancias):

info_about_speaker_list = [
    ['nombre', ['Yui Kaeri']], 
    ['donde_nacio', ['Ossaka']], 
    ['nombres_de_personas_mencionadas', [
        ['Shinji', 'hijo'], ['Lorentz', 'padre'], 
        ['Ricardo Marino', 'esposo'], ['Marcelo', 'tío'], 
        ['Lantz', 'padre']]], 
    ['habilidades_destacadas_y_talentos', ['la construccion de robots', 'la templanza y planificacion']]
]

¿Qué debería modificar en la lógica de la función eliminar_similares(lista) de mi código? Espero puedan ayudarme.