0

Necesito comparar los archivos de un directorio y obtener los que no esten repetidos pero casi tienen un nombre identico ejemplo:

prueba.txt
prueba_expand.txt

prueba2.txt
prueba2_expand.txt

prueba3.txt
prueba3_expand.txt

prueba4.txt
prueba5.txt

en concreto solo quiero prueba 4 y 5

uso este codigo parar hace la filtracion apenas y solo me falta comparar por ciertos caracteres y buscar los que no son repetidos

def filtrarCoincidencias(ruta,extension):
    files=[ x for x in os.listdir(ruta) if x.endswith(extension)]
    coincidencias=[]
    print files
    for i,f1 in enumerate(files):
        for j,f2 in enumerate(files):
            if(j>i):
                if(filecmp.cmp(ruta+f1,ruta+f2)):
                    coincidencias.append((f1,f2))
    return coincidencias


for tupla in filtrarCoincidencias("ruta del directorio",".ass"):
    print(tupla)

1
  • 1
    Tienes que definir "identico". Una manera es proporcionar una función que mide la similitud entre dos palabras. ¿Puedes publicar el código que usas para medir la similitud?
    – Candid Moe
    Commented el 13 jul. 2020 a las 17:31

1 respuesta 1

0

El problema central es definir y calcular similitud. Para esto usara la función difflib.ndiff. Esta función es un generador que produce las diferencias entre dos palabras, como se muestra en el ejemplo:

[x for x in difflib.ndiff("palabra1", "palabra2")]

produce

['  p', '  a', '  l', '  a', '  b', '  r', '  a', '- 1', '+ 2']

Lo que nos importa son los elementos que empiezan con "-" y "+", los que señalan caracteres que deben ser insertados o eliminados de la primera palabra para hacerla igual a la segunda palabra.

Con esto, mi arbitraria definición de parecido es:

dos palabras son parecidas si el total de modificaciones ("-" y "+") es menor que un limite (por ejemplo, 4).

Mi función de comparación será

import difflib

def diferencias(palabra1, palabra2, max):
    """ Compara dos palabras

    @param palabra1: La primera palabra
    @param palabra2: La segunda palabra.
    @param max: Maximo numero de discrepancias aceptables
    @return: True si las dos palabras tienen a lo más max diferencias.
    """
    total_neg = 0
    total_pos = 0
    for dif in difflib.ndiff(palabra1, palabra2):
        if dif[0] == "-":
            total_neg += 1
        elif dif[0] == "+":
            total_pos += 1

    print(palabra1, palabra2, total_neg, total_pos)

    return (total_neg + total_pos) <= max

Nota: He dejado separado la contabilidad de adiciones y eliminaciones para facilitar la aplicacion de otros criterios de similitud.

Tengo un directorio con este contenido:

20180927_182610.jpg  20190220_130357.jpg  DSCN1930.jpg  DSCN1937.jpg
20180927_182628.jpg  20190220_130403.jpg  DSCN1931.MOV  DSCN1938.jpg
20181215_161317.jpg  20190220_130405.jpg  DSCN1932.jpg  DSCN1939.jpg
20181215_161319.jpg  20190330_161846.jpg  DSCN1933.jpg  out
20181215_161324.jpg  20190330_161850.jpg  DSCN1934.jpg
20181215_161326.jpg  20190330_161903.jpg  DSCN1935.jpg
20190220_130354.jpg  20190907_224410.jpg  DSCN1936.jpg

Modifique ligeramente tu código para probarlo:

def filtrarCoincidencias(ruta,extension):
    files=[x for x in os.listdir(ruta) if x.endswith(extension)]
    coincidencias=[]
    for i, f1 in enumerate(files):
        for j, f2 in enumerate(files):
            if(j > i):
                if diferencias(f1, f2, 4):
                    coincidencias.append((f1,f2))
                else:
                    print("rechazada")
    return coincidencias


for tupla in filtrarCoincidencias("/home/candid/inter3",".jpg"):
     print(tupla)

Lo que produce el resultado a continuación:

Nota: he dejado varios prints para poder seguir y chequear la operación. Las primeras lineas reflejan el calculo en la función diferencias.

20181215_161317.jpg 20180927_182628.jpg 7 7
rechazada
20181215_161317.jpg DSCN1933.jpg 13 6
rechazada
20181215_161317.jpg 20181215_161326.jpg 2 2
20181215_161317.jpg 20190220_130403.jpg 8 8
rechazada
20181215_161317.jpg 20190220_130405.jpg 8 8
rechazada
20181215_161317.jpg 20190330_161850.jpg 8 8
rechazada
20181215_161317.jpg DSCN1936.jpg 13 6
rechazada
20181215_161317.jpg 20190907_224410.jpg 11 11
rechazada
20181215_161317.jpg 20181215_161319.jpg 1 1
20181215_161317.jpg DSCN1938.jpg 13 6
rechazada
... blah, blah ....
('20181215_161317.jpg', '20181215_161326.jpg')
('20181215_161317.jpg', '20181215_161319.jpg')
('20181215_161317.jpg', '20181215_161324.jpg')
('20180927_182628.jpg', '20180927_182610.jpg')
('DSCN1933.jpg', 'DSCN1936.jpg')
('DSCN1933.jpg', 'DSCN1938.jpg')
('DSCN1933.jpg', 'DSCN1939.jpg')
('DSCN1933.jpg', 'DSCN1932.jpg')
('DSCN1933.jpg', 'DSCN1934.jpg')
('DSCN1933.jpg', 'DSCN1930.jpg')
('DSCN1933.jpg', 'DSCN1935.jpg')
('DSCN1933.jpg', 'DSCN1937.jpg')
('20181215_161326.jpg', '20181215_161319.jpg')
('20181215_161326.jpg', '20181215_161324.jpg')
('20190220_130403.jpg', '20190220_130405.jpg')
('20190220_130403.jpg', '20190220_130354.jpg')
('20190220_130403.jpg', '20190220_130357.jpg')
('20190220_130405.jpg', '20190220_130354.jpg')
('20190220_130405.jpg', '20190220_130357.jpg')
('20190330_161850.jpg', '20190330_161846.jpg')
('20190330_161850.jpg', '20190330_161903.jpg')
('DSCN1936.jpg', 'DSCN1938.jpg')
('DSCN1936.jpg', 'DSCN1939.jpg')
('DSCN1936.jpg', 'DSCN1932.jpg')
('DSCN1936.jpg', 'DSCN1934.jpg')
('DSCN1936.jpg', 'DSCN1930.jpg')
('DSCN1936.jpg', 'DSCN1935.jpg')
('DSCN1936.jpg', 'DSCN1937.jpg')
('20181215_161319.jpg', '20181215_161324.jpg')
('DSCN1938.jpg', 'DSCN1939.jpg')
('DSCN1938.jpg', 'DSCN1932.jpg')
('DSCN1938.jpg', 'DSCN1934.jpg')
('DSCN1938.jpg', 'DSCN1930.jpg')
('DSCN1938.jpg', 'DSCN1935.jpg')
('DSCN1938.jpg', 'DSCN1937.jpg')
('20190220_130354.jpg', '20190220_130357.jpg')
('DSCN1939.jpg', 'DSCN1932.jpg')
('DSCN1939.jpg', 'DSCN1934.jpg')
('DSCN1939.jpg', 'DSCN1930.jpg')
('DSCN1939.jpg', 'DSCN1935.jpg')
('DSCN1939.jpg', 'DSCN1937.jpg')
('DSCN1932.jpg', 'DSCN1934.jpg')
('DSCN1932.jpg', 'DSCN1930.jpg')
('DSCN1932.jpg', 'DSCN1935.jpg')
('DSCN1932.jpg', 'DSCN1937.jpg')
('DSCN1934.jpg', 'DSCN1930.jpg')
('DSCN1934.jpg', 'DSCN1935.jpg')
('DSCN1934.jpg', 'DSCN1937.jpg')
('DSCN1930.jpg', 'DSCN1935.jpg')
('DSCN1930.jpg', 'DSCN1937.jpg')
('DSCN1935.jpg', 'DSCN1937.jpg')

Observaciones:

filecmp.cmp no compara los nombres de archivos.

Hay una versión más pitonica de la función de comparación, que sería esta:

def diferencia2(palabra1, palabra2, max):
    return len([dif for dif in difflib.ndiff(palabra1, palabra2) if dif[0] != ' ']) <= max

Es más compacta, pero poco adaptable si deseas cambiar el criterio de similitud.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.