Este es mi código pero esta fallando (mas abajo explico porque no da el output correcto), ya que el problema estaría en cómo se están manejando las eliminaciones y en la lógica de comparación.
from difflib import SequenceMatcher
def eliminar_similares(lista):
nueva_lista = []
eliminados = set()
for i, [nombre_rol1, rol1] in enumerate(lista):
if i not in eliminados:
nueva_lista.append([nombre_rol1, rol1])
for j, [nombre_rol2, rol2] in enumerate(lista[i + 1:], start=i + 1):
if j not in eliminados:
#Calcular la relación de similitud entre dos cadenas de texto (devuelven un valor entre 0 y 1).
#En este caso, se aplica a los elementos de las sublistas nombre_rol1 y nombre_rol2 en las posiciones [0], que corresponden a los nombres.
similitud_nombre = SequenceMatcher(None, nombre_rol1[0], nombre_rol2[0]).ratio()
#En este caso, se aplica a los elementos de las sublistas nombre_rol1 y nombre_rol2 en las posiciones [1], que corresponden a los roles.
similitud_rol = SequenceMatcher(None, nombre_rol1[1], nombre_rol2[1]).ratio()
if similitud_nombre > 0.85 and similitud_rol > 0.85:
eliminados.add(j)
return nueva_lista
#Lista con información de prueba
info_about_speaker_list = [
['nombre', ['Yui Kaeri']],
['donde_nacio', ['Ossaka']],
['nombres_de_personas_mencionadas', [
['Santino', 'hijo'], ['Shion Uzaki', 'madre'], ['Lorentz', 'padre'],
['Ricardo Marino', 'esposo'], ['Shion Uzuki', 'madre'], ['Marcelo', 'tío'],
['Lamtztnh', 'padre'], ['Ritoko Ai', 'hija'], ['Ritako AI', 'hija'], ['Marcela', 'tía'], ['Shion Usuki', 'madre']
]],
['habilidades_destacadas_y_talentos', ['la construccion de robots', 'la templanza y planificacion']]
]
# Filtrar la lista 'nombres_de_personas_mencionadas'
index_nombres_mencionados = next((i for i, x in enumerate(info_about_speaker_list) if x[0] == 'nombres_de_personas_mencionadas'), None)
#Filtrar y eliminar sublistas duplicadas dentro de la sección "nombres_de_personas_mencionadas" de info_about_speaker_list, utilizando la función eliminar_similares()
if index_nombres_mencionados is not None:
info_about_speaker_list[index_nombres_mencionados][1] = eliminar_similares(info_about_speaker_list[index_nombres_mencionados][1])
print(info_about_speaker_list) # --> Imprimiría como output la lista original tras modificarle
Las sublistas de esta lista están conformadas por ['nombre', 'rol']
, por ejemplo 'Santino' es el nombre y 'hijo' es el rol
Usando la librería from difflib import SequenceMatcher
determinar el porcentaje de coincidencia, si alguna de las sublistas de la forma ['nombre', 'rol']
dentro de ['nombres_de_personas_mencionadas', ]
tienen mas del 85% de similitud tanto en 'nombre' como en 'rol' con otra sublista entonces eliminar la sublista que aparezca posterior dejando solo la que primero aparece (es decir, de las 2 sublistas que han sido comparadas, y se supero el umbral de coincidencia, entonces se quita la de índice mayor, al considerarla un elemento con posible información redundante).
En este caso debería quedar como output una lista maso menos como esta:
info_about_speaker_list = [
['nombre', ['Yui Kaeri']],
['donde_nacio', ['Ossaka']],
['nombres_de_personas_mencionadas', [
['Santino', 'hijo'], ['Shion Uzaki', 'madre'], ['Lorentz', 'padre'],
['Ricardo Marino', 'esposo'],
['Lamtztnh', 'padre'], ['Ritoko Ai', 'hija']
]],
['habilidades_destacadas_y_talentos', ['la construccion de robots', 'la templanza y planificacion']]
]
El problema es que con mi código, no puedo obtener ese output, y me da este incorrecto, en el cual cuando hay coincidencia directamente elimina todas las que coincidan y no todas menos la de menor índice (la primera, que se interpreta como la original, y el resto como redundancias):
info_about_speaker_list = [
['nombre', ['Yui Kaeri']],
['donde_nacio', ['Ossaka']],
['nombres_de_personas_mencionadas', [
['Santino', 'hijo'], ['Lorentz', 'padre'],
['Ricardo Marino', 'esposo'], ['Marcelo', 'tío'],
['Lamtztnh', 'padre']]],
['habilidades_destacadas_y_talentos', ['la construccion de robots', 'la templanza y planificacion']]
]
¿Qué debería modificar en la lógica de la función eliminar_similares(lista)
de mi código?
Espero puedan ayudarme.
'Lantz
' no está en la sublista de ejemplo). Yo he probado con la sublista que pones y me sale[['Santino', 'hijo'], ['Shion Uzaki', 'madre'], ['Lorentz', 'padre'], ['Ricardo Marino', 'esposo'], ['Marcelo', 'tío'], ['Lamtztnh', 'padre']]
, algo que veo correcto.'Lantz'
por'Lamtztnh'
, creo que había quedado de un test anterior. Pero el problema de lógica esta que en la lista output por error elimino, por ejemplo tanto a['Shion Uzaki', 'madre']
como a las que aparecen después['Shion Uzuki', 'madre']
y['Shion Usuki', 'madre']
, cuando enrealidad tuvo que haber dejado a la primer a aparición, que es['Shion Uzaki', 'madre']
, asumiendo a las otras 2 como redundantes['Marcelo', 'tío']
y['Marcela', 'tía']
, aunque sepamos que son cosas distintas, pero para esta lógica tendría que dejar solo['Marcelo', 'tío']
por aparecer primero y eliminar a['Marcela', 'tía']
, ya que sus strings'Marcelo'
y'Marcela'
tienen mas de 85% de similitud, y las strings de roles"tío"
y"tía"
también tienen mas de 85% de similitud (el 85 es por probar). Aquí sería comparar entre 2, en el caso de['Shion Uzaki', 'madre']
,['Shion Uzuki', 'madre']
y['Shion Uzuki', 'madre']
eran 3, pero podrían ser mas y siempre debería conservar la primera