0

Necesito eliminar aquellas lineas en el archivo word_file.txt que tienen lo mismo que este contenido en la variable word, pero solo si en ese mismo indice de linea pero en el archivo definition_file.txt se da "a la vez" la coincidencia de lo que contiene la variable association.

Para ello necesitaria ayuda, para tomar todos los indices de las concidencias en word_file.txt y en definition_file.txt, y si se ambas coincidencias en ambos txt, en lineas de mismo indice entonces se elimina esa información de ambos archivos .txt

#Input de datos
word = str(input())
association = str(input())

word_file_path = 'data_association/slot1/word_file.txt'
association_path = 'data_association/slot1/definition_file.txt'

try:
    #delete_this_data = False #en caso de querer que con que coincida uno baste para eliminar los 2
    
    #para que evalue si se dan las 2 coincidencias
    delete_this_word = False
    delete_this_association = False

    index_word_to_remove = None #para el caso de validar si se encontro word, es necesario para la validacion doble

    with open(word_file_path,"r+") as f:
        lineas_1 = [linea.strip() for lineas_1 in f.readlines()]

        if (word in lineas_1):
            #delete_this_data = True
            delete_this_word = True
            index_word_to_remove = f

        elif (word not in lineas_1):
            print("No tengo esa linea word, por lo que no necesito eliminar nada")

    if(index_word_to_remove != None): #es necesario para la validacion doble

        with open(association_path,"r+") as g:
            lineas_2 = [linea.strip() for linea in g.readlines()]

            if (association in lineas_2 and index_word_to_remove == f):
                #delete_this_data = True
                delete_this_association = True
                index_association_to_remove = g

            elif (association not in lineas_2):
                print("No tengo esa linea association, por lo que no necesito eliminar nada")
        
        #if(delete_this_data = True):
        if(delete_this_word == True and delete_this_association == True):
            #Aqui deberia eliminar la word que coincida con el input y la association que coincida con la linea (pero en el otro txt)
            
except: print("Hubo un problema durante la busqueda o en la lectura de archivos"

Suponiendo que los txt tengan esta disposicion de los datos:

word.txt

cactus
plantas amarillas
hortensias
petalos largos
hortensias
dia caluroso
hortensias

association.txt

son plantas con espinas
estan secas
son plantas con espinas
petalos largos
son flores provenientes de asia
debo regar las plantas por la tarde
son plantas con espinas

siendo que, por ejemplo, el input fuese word = 'hortensias' y association = 'son plantas con espinas', y los 2 archivos .txt deberian quedar asi:

word.txt

cactus
plantas amarillas
petalos largos
hortensias
dia caluroso

association.txt

son plantas con espinas
estan secas
petalos largos
son flores provenientes de asia
debo regar las plantas por la tarde

Osea elimino las 2 lineas con la palabra 'hortensias' y las 2 association que coincidian con la linea de word pero en el otro txt y ademas coincidian con 'son plantas con espinas' (en este caso al ser un dato que no corresponde, si word aparece en el primer txt y association en el segundo y coinciden en el mismo numero de linea pero en txt distintos entonces ambas se deberian eliminar).

Sin embargo, a la palabra 'cactus' y a su asociacion en el otro txt, osea 'son plantas con espinas' no los debe eliminar porque lo contenido en word NO coincidio.

2
  • El ejemplo es confuso, ya que en words.txt "hortencias" aparece tres veces y no dos. ¿por qué se eliminaría la primera y la última pero no la de en medio? (por cierto, la ortografía correcta es "hortensias")
    – abulafia
    Commented el 29 ene. 2022 a las 10:41
  • Por que association no es igual al input, eso es lo que se me complica. Para que sean eliminadas tiene que ser word igual a una linea y luego en la misma linea pero del otro txt association coincidir con la linea de ese txt. El input era "hortencias" (asi y con error de ortografia xd , lo saque de un dataset, pero obvio es una version recortada para que entre en stack igual ahi lo fixeo) y el otro input era 'son plantas con espinas'. pero en la hortencias que no se elimino association era igual a 'son flores provenientes de asia' Commented el 29 ene. 2022 a las 17:46

1 respuesta 1

1

Una posible forma de hacerlo consiste en:

  1. Abrir los ficheros para lectura. Leer el contenido de ambos ficheros a un par de listas (una para cada fichero). Los contenidos de esas listas son respectivamente las líneas de cada fichero. Cerrar ambos ficheros.
  2. Volver a abrirlos para escritura (esto elimina lo que pudieran contener). Iterar por el par de listas para volver a escribir en cada fichero lo que había en esas listas, pero saltándose el caso en que coincidan respectivamente con word y association.

Esto se logra en unas pocas líneas de python:

with open("words.txt") as fw, open("association.txt") as fa:
    words = fw.readlines()
    associations = fa.readlines()

word = "hortensias"
assoc = "son plantas con espinas"

with open("words.txt", "w") as fw, open("association.txt", "w") as fa:
    for w, a in zip(words, associations):
        if w.rstrip() == word and a.rstrip() == assoc:
            continue # Saltarse este caso
        fw.write(w)
        fa.write(a)

El primer with abre ambos ficheros en modo lectura (es el modo por defecto cuando no se especifica uno) y usa .readlines() sobre cada fichero para leer todas las líneas y generar las listas words y associations.

Cuando el bloque with termina, Python cierra automáticamente los ficheros abiertos.

El segundo with vuelve a abrirlos para escritura ("w"), y seguidamente itera por las dos listas a la vez (la función zip() sirve para juntar varias listas en un solo bucle de iteración). En cada iteración del bucle w tendrá un elemento de la lista words y a tendrá un elemento de la lista associations. Se comparan estos valores con los que se quieren eliminar (el .rstrip() es para quitar el retorno de carro y posibles espacios al final de la línea) y si ambos coinciden se ejecuta continue que hace que se salte a la siguiente iteración del bucle (por lo que los write() no llegan a ejecutarse para ese par de palabras.

El único inconveniente de este método es que si el tamaño de los ficheros es muy grande, el algoritmo necesitará mucha memoria para funcionar, pues debe cargar en RAM (en las listas words y associations) los contenidos de ambos ficheros. Si hablamos de ficheros realmente enormes (muchos gigabytes) es posible que no haya memoria suficiente para procesarlos por este mecanismo.

Otra forma

Otra forma de hacerlo, que no requiere leer los ficheros completos, consiste en ir procesando línea por línea cada uno de los ficheros, de modo que sólo se necesita memoria para guardar la línea que toque.

La idea es leer una línea de cada fichero, compararlas con las palabras a omitir, y si no son, volver a escribirlas en otros ficheros. El problema de este enfoque es que no es posible volver a escribirlas en los ficheros originales (lo cual por cierto puede ser una ventaja ya que no se destruyen los ficheros en caso de un error de programación).

Sería así:

word = "hortensias"
assoc = "son plantas con espinas"

with open("words.txt") as fw, \
     open("association.txt") as fa, \
     open("words_filtrado.txt", "w") as fw_filt, \
     open("association_filtrado.txt", "w") as fa_filt:
    for w, a in zip(fw, fa):
        if w.rstrip() == word and a.rstrip() == assoc:
            continue
        fw_filt.write(w)
        fa_filt.write(a)

Observa que en este caso with abre cuatro ficheros: los dos de entrada y los dos de salida (with requiere todos los open() en la misma línea, pero para mayor legibilidad lo he separado en cuatro líneas y por eso tengo que poner una \ al final de cada una, para indicar que "continúa por la siguiente")

El bucle for utiliza de nuevo zip() pero ahora le pasamos los ficheros fw y fa. Ocurre que en Python un objeto de tipo fichero es "iterable" como si fuera una lista, y cada vez que se itera sobre él se lee una línea y ese es el valor de la iteración. Por tanto las líneas se van leyendo de una en una, en vez de hacerlo todas de una vez, consumiento así una cantidad insignificante de memoria aunque los ficheros tengan millones de líneas.

Nota Siempre puedes, una vez terminado el bucle, renombrar los ficheros de salida con el mismo nombre que los ficheros de entrada, para que el resultado sea equivalente al del primer código. Pero durante las pruebas creo que es mejor tenerlos separados para poder comparar la salida con la entrada y ver si lo está haciendo bien.

1
  • @abufalia Muchas gracias, me ayudaste un monton ademas que no se me habia ocurrido ese metodo para que consuma menos RAM en caso de que el dataset aumente demasiado su tamaño dificultando su lectura. Commented el 29 ene. 2022 a las 21:07

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.