3

Quiero hacer que python me compruebe 2 archivos y si hay alguna linea que no es igual me la saque en un output.txt y tengo esto hecho:

with open('ofers.txt', 'r') as file1:
    with open('ofersb.txt', 'r') as file2:
        with open ("output.txt", "w") as out_file:
            f2_lines = set(file2)
            for line in file1:
                if line not in f2_lines:
                    out_file.write(line)

Este es mi archivo a:

Raspberry pi: titulo: Funda para Raspberry Pi Zero v. 1.3 + precio: 45€ reservada: False

Raspberry pi: titulo: Raspberry Pi Pico W [NUEVO] precio: 11,55€ reservada: False

Raspberry pi: titulo: [NUEVO] Placa IO del módulo de cómputo CM4 de Raspberry Pi CM4 precio: 59,99€ reservada: False

Raspberry pi: titulo: Raspberry Pi 3B+ con todos los accesorios. precio: 55€ reservada: False

Y este mi archivo b:

Raspberry pi: titulo: Raspberry Pi Pico W [NUEVO] precio: 11,55€ reservada: False

Raspberry pi: titulo: Funda para Raspberry Pi Zero v. 1.3 + precio: 45€ reservada: False

Raspberry pi: titulo: Raspberry Pi 3B+ con todos los accesorios. precio: 55€ reservada: False

Raspberry pi: titulo: [NUEVO] Placa IO del módulo de cómputo CM4 de Raspberry Pi CM4 precio: 59,99€ reservada: False

Raspberry pi: titulo: Raspberry pi 1 con micro SD 128gb precio: 55€ reservada: False

Como puedes ver el archivo a tiene 4 frases iguales que en el archivo b pero no estan colocadas en las mismas lineas y el problema cuando uso lo de los hashes esque al no estar posicionadas las lineas en el mismo sitio del archivo A y B me devuelve las lineas que si estan duplicadas pero colocadas en diferentes sitios como la de Raspberry pi: titulo: [NUEVO] Placa IO del módulo de cómputo CM4 de Raspberry Pi CM4 precio: 59,99€ reservada: False

Quiero que me escriba la ultima linea del archivo b ( que no esta duplicada ) en diff.txt, pero esto de forma automatica y teniendo en cuenta que tengo 100 lineas asi y que estan en un orden aleatorio

2
  • 1
    dos personas se han tomado el tiempo de darte dos respuestas. No estaría mal que les respondas, al menos, para decirles el por qué sus respuestas no son la solución que busca.
    – multiple
    el 19 nov. 2022 a las 18:45
  • Lol estoy probando la respuesta de Dante S. para ver si esa respuesta me funciona
    – Jose
    el 19 nov. 2022 a las 19:00

2 respuestas 2

2

El problema es detectar todas las líneas de archivo_1 que no se encuentre en archivo_2.

Lo primero será leer completo archivo_2, pero sólo guardar el hash de cada línea. Este es valor entero calculado de tal manera que si dos hashes son iguales sólo si las dos líneas originales lo era.

Al guardar el hash economizo espacio y acelero la búsqueda.

En este trozo leo el archivo_2 y genero una lista de hashes:

hash2 = []
with open("arch2.txt", "r") as arch2:
    hash2 = [hash(linea) for linea in arch2]

Luego abro archivo_1 y voy tomando cada línea, calculando su hash y viendo si está en hash2. Si no es así, la línea está presente sólo en archivo_1, y toca grabarla a la salida:

with open("diff.txt", "w") as salida:
    with open("arch1.txt") as arch1:
        for linea in arch1:
            if hash(linea) not in hash2:
                salida.write(linea)

Demo

Nótese que los archivos no vienen en desordenados:

arch1.txt

linea 10
linea 8
linea 6
linea 4
linea 2
linea 1
linea 3
linea 5
linea 7
linea 9

arch2.txt

linea 1
linea 5
linea 8

El código:

hash2 = []
with open("arch2.txt", "r") as arch2:
    hash2 = [hash(linea) for linea in arch2]

with open("diff.txt", "w") as salida:
    with open("arch1.txt") as arch1:
        for linea in arch1:
            if hash(linea) not in hash2:
                salida.write(linea)

produce como salida el archivo diff.txt:

linea 10
linea 6
linea 4
linea 2
linea 3
linea 7
linea 9
11
  • 1
    Perdon por decirlo, pero esta respuesta es sospechosamente errada en algunos conceptos. La funcion hash NO crea hash unicos. Python internamente complementa con la operación de igualdad. Segundo, usar una lista de hash es mas lento que usar un conjunto. Ya que en el caso de la lista Python se pondra a buscar item por item para ver si es el correcto. Yo te conozco, no sos de los que se confunden en estas cosas? O si? Por que diste una respuesta así?
    – Dante S.
    el 19 nov. 2022 a las 17:37
  • 1
    @Jose. Si te fijas, las líneas salen en el orden que vienen. Si las quieres en un orden distinto, puedes ordenarlas antes o después. Dividir para reinar.
    – Candid Moe
    el 19 nov. 2022 a las 17:54
  • @CandidMoe me quiero referir a que si tengo las listas ordenadas es decir EN LA LINEA 1 DEL "ARCHIVO A" LO MISMO QUE EN LA LINEA 1 DEL "ARCHIVO B" si que me funciona y no me guarda esa linea en el diff.txt pero si no las tengo ordenadas me pone cosas en el diff.txt que si estan duplicadas no se si me explico
    – Jose
    el 19 nov. 2022 a las 18:04
  • @Jose. Sin ver los datos con que trabajas nada puedo decir.
    – Candid Moe
    el 19 nov. 2022 a las 18:15
  • @Jose Yo creo que hace lo que pedías. Comprueba en la lista de hashes que no hay ninguna línea en arch2.txt que tenga el mismo hash que la línea que está comprobando de arch1.txt . Explica mejor qué es lo que no va con algún ejemplo. el 19 nov. 2022 a las 18:18
1

Nota: esta respuesta usa el módulo io de la librería estandar para poder hacer pruebas sin necesidad de crear archivos.


La forma más rapida, pero que gasta más memoria

La forma más eficiente que se me ocurre es primero, leer todo el archivo dos.
Como los conjuntos de Python no son ordenados, tendremos que usar un diccionario cuyo valor siempre sea None.

Nota: Por debajo de Python 3.7, los diccionarios tampoco son ordenados. Usa collections.OrderedDict en su lugar si tienes una versión por debajo de la antes mencionada.

Luego, recorrer el archivo1 y, si no está en el diccionario, agregar la linea.

Código

import io

archivo2 = io.StringIO("123\n456\nabc")
archivo1 = io.StringIO("abc\nhola")
diff = io.StringIO()

# con .rstrip("\n") le quitamos los saltos de linea, si están presentes.
lines = {line.rstrip("\n"):None for line in archivo2}

for line in archivo1:
    if(line.rstrip("\n") not in lines):
        diff.write(line)

print("---archivo1---")
print(archivo1.getvalue())
print()
print("---archivo2---")
print(archivo2.getvalue())
print("---diff---")
print(diff.getvalue())

Produce

---archivo1---
abc
hola

---archivo2---
123
456
abc
---diff---
hola

Al usar un diccionario, de cada linea se obtiene una "id" casi unica llamada hash (Si dos objetos tienen el mismo hash, Python usa el operador de igualdad para ver si son distintos). Esto hace que, al buscar la linea en el diccionario, suceda lo siguiente internamente:

  • Obtiene el hash de la linea
  • Obtiene todos los objetos con ese hash de manera directa (a diferencia de las listas, donde se usa "prueba y error"). Imagina que es como una especie de tabla, y con el hash sabes directamente a que registro de la tabla ir.
  • Obtiene el que es igual a los otros objetos obtenidos.

Este proceso es mucho más rapido que la prueba y error. Pero inconveniente para archivos grandes con muchas lineas diferentes ya que se cargaría su contenido en memoria.

La forma más lenta, pero que gasta una cantidad insignificante de memoria

Se me ocurre también ir leyendo linea por linea el archivo1 y recorrer las lineas del archivo2 hasta encontrar la linea buscada. Si esa linea existe, rompemos el bucle y pasamos a la siguiente linea. De lo contrario, la escribimos en diff.

Código

import io

archivo2 = io.StringIO("123\n456\nabc")
archivo1 = io.StringIO("abc\nhola")
diff = io.StringIO()

for arch1_line in archivo1:
    arch1_line = arch1_line.rstrip("\n")
  
    for arch2_line in archivo2:
        if(arch1_line == arch2_line.rstrip("\n")):
          break
    else:
        diff.write(arch1_line)

print("---archivo1---")
print(archivo1.getvalue())
print()
print("---archivo2---")
print(archivo2.getvalue())
print()
print("---diff---")
print(diff.getvalue())

Produce

---archivo1---
abc
hola

---archivo2---
123
456
abc

---diff---
hola

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.