Cosas mejorables en tu código:
- No necesitas usar una expresión regular para encontrar un texto "fijo". Es más eficiente mirar si una cadena está contenida en otra con el operador
in
.
- No necesitas abrir el archivo de salida en modo "x" y si falla volver a abrirlo en modo "w". Puedes abrirlo directamente en modo "w" ya que este modo crea el archivo si no existía previamente.
- Los ficheros deben manejarse mejor en un bloque
with
pues al salir de este bloque se cerrarán automáticamente con lo que no necesitas el .close()
(y lo mejor, no puedes olvidar ponerlo)
Pero el verdadero problema es que estás leyendo el fichero completo a una lista antes de procesarlo, por lo que eso te ocupará la memoria RAM, tanto más cuanto mayor sea el fichero. Por si fuera poco también creas en memoria la lista con lo que quieres volcar al fichero de salida, por lo que doble espacio ocupado.
Para evitar eso deberás procesar el fichero línea a línea de modo que en memoria mantengas sólo unas pocas líneas en lugar de todas, tal como sugiere @CandidMoe en su respuesta.
Pero en tu caso hay un problema añadido. Si el procesamiento afectara a una sola línea, la cosa sería sencilla. Harías un bucle en que lees una línea, la procesas, y la escribes (o no) al fichero de salida. Pero en tu caso es un poco más difícil porque necesitas mantener un contexto (es decir, líneas alrededor de la que estás procesando, en concreto la anterior y las dos siguientes).
Creo que el mecanismo más simple para hacer lo que buscas, manteniendo el enfoque de leer línea a línea, es tener una estructura que te almacene las últimas 4 líneas que hayas leído, y decida si volcar o no esas cuatro líneas antes de pasar a la siguiente.
La estructura de datos ideal para esto es una deque
, que funciona como una lista pero tiene una capacidad máxima (4 en este caso) y si añades más cuando ya está llena, automáticamente se van borrando las previas. Por ejemplo, en una deque
de capacidad 3, si metes los números 1, 2, 3, y 4, quedarán almacenados solamente 2, 3, y 4 (y el 1 desaparece, por no caber ya).
Usando esta idea, más lo dicho al principio, el código quedaría así:
from collections import deque
input_file = 'input.txt' # El archivo que tiene que leer
output_file = 'output.txt' # El archivo resultante
buscado = 'TGGACCCC'
contexto = deque([], 4) # Para mantener las últimas 4 líneas leídas
# Un bloque with abre a la vez ambos ficheros
with open(input_file) as f_in, open(output_file, "w") as f_out:
# Un bucle for que itere por `f_in` recuperará una línea de cada vez
for line in f_in:
contexto.append(line) # La añadimos al deque
if len(contexto) < 4: # Mientras no se hayan leido al menos 4 seguimos
continue
if buscado in contexto[1]: # Una vez leidas 4, miramos si aparece en la 1
f_out.writelines(contexto) # Y en ese caso volcamos estas cuatro
Advertencia
El código anterior reproduce el comportamiento del tuyo, es decir, dará lugar al mismo resultado. Ten en cuenta sin embargo que tal vez ese resultado no sea correcto, pues puede volcar solapamientos que quizás no deseabas. Por ejemplo considera un fichero así:
Primera linea
Segunda con TGGACCCC
Tercera también con TGGACCCC
Cuarta no tiene el patrón
La quinta tampoco
No sé qué salida querrías obtener en un caso como este, pero la que obtendrías con tu código (o con el mío que equivale funcionalmente) sería lo siguiente:
Primera linea
Segunda con TGGACCCC
Tercera también con TGGACCCC
Cuarta no tiene el patrón
Segunda con TGGACCCC
Tercera también con TGGACCCC
Cuarta no tiene el patrón
La quinta tampoco
Ya que dentro del primer bloque de 4 líneas el patrón aparece en la segunda línea, por lo que se vuelca ese bloque, pero al avanzar a la línea siguiente se tiene un nuevo bloque de 4 líneas (que comparte tres líneas con el bloque anterior) que también contiene el patrón en la segunda línea, por lo que se vuelca también ese bloque. Al final se vuelcan 8 líneas y varias de ellas repetidas.
Si quisieras evitar esto y volcar solo el primer bloque de 4, deberías vaciar el deque (con contexto.clear()
) tras volcarlo a disco.
Ten en cuenta también que si el fichero de entrada tiene el patrón TGGACCCC en alguna de sus tres últimas líneas, esos casos no se encontrarían ya que se busca que la línea sea la segunda de un bloque de 4 y el fichero se habría terminado antes de completar un bloque así. Esto lo puedes resolver añadiendo líneas en blanco al final del fichero de entrada.
readlines()
es el patas. Es como una canción de JBalvin en loop, por siempre. Hay que evitarreadlines()
como se evita escuchar despacito