4

estoy intentando aplicar un script .py para extraer líneas de un archivo .txt en otro oachivo .txt.

El problema es que mi ordenador tiene solo 8 Gigas de RAM y a veces me salta "MemoryError", cosa que creo que es por el hecho de estar trabajando sobre un archivo tan grande... Por eso me gustaría separarlo.

Estoy trabajando con Windows 10 python. Alguien tiene alguna idea de cómo podría dividir el archivo de 8 Gb para obtener, por ejemplo 16 archivos de 0,5 Gb?

El código utilizado es:

input_file = 'input.txt' # El archivo que tiene que leer
output_file = 'output.txt' # El archivo resultante
regex_str = 'TGGACCCC' # Regex que comprobará en la línea

pattern = re.compile(regex_str)

with open(input_file) as f:
    lines = f.readlines()

f.close()

print_lines = []
for i,line in enumerate(lines):
    m = pattern.search(line)

    try:
        m.pos
        try:
            print_lines.append(lines[i-1])
            print_lines.append(lines[i])
            print_lines.append(lines[i+1])
            print_lines.append(lines[i+2])
        except:
            continue
    except:
        continue

try:
    f = open(output_file, 'x')
except:
    f = open(output_file, 'w')

f.writelines(print_lines)

f.close()

Muchas gracias!

6
  • 3
    Hola! Podrías incluir el código de tu script.py para poder darte una respuesta más exacta por favor?
    – Dante S.
    Commented el 3 feb. 2022 a las 13:25
  • @DanteS. Sí. Es este:
    – Sebastian
    Commented el 3 feb. 2022 a las 13:26
  • 2
    Pero ponlo en la pregunta por favor, formateado. Aquí un link que explica como ponerle formato al codigo: es.stackoverflow.com/help/formatting. Para editar la pregunta puedes presionar el boton editar abajo de la pregunta y las etiquetas.
    – Dante S.
    Commented el 3 feb. 2022 a las 13:27
  • 2
    Bienvenidx a SOes. Por favor, ve a editar tu pregunta y añade todo lo relevante a la misma: el código, algún fragmento del archivo o datos de prueba para ver qué hace tu código, y la salida esperada.
    – Alfabravo
    Commented el 3 feb. 2022 a las 13:53
  • 1
    readlines() es el patas. Es como una canción de JBalvin en loop, por siempre. Hay que evitar readlines() como se evita escuchar despacito
    – Alfabravo
    Commented el 3 feb. 2022 a las 17:08

2 respuestas 2

6

Cosas mejorables en tu código:

  1. No necesitas usar una expresión regular para encontrar un texto "fijo". Es más eficiente mirar si una cadena está contenida en otra con el operador in.
  2. No necesitas abrir el archivo de salida en modo "x" y si falla volver a abrirlo en modo "w". Puedes abrirlo directamente en modo "w" ya que este modo crea el archivo si no existía previamente.
  3. Los ficheros deben manejarse mejor en un bloque with pues al salir de este bloque se cerrarán automáticamente con lo que no necesitas el .close() (y lo mejor, no puedes olvidar ponerlo)

Pero el verdadero problema es que estás leyendo el fichero completo a una lista antes de procesarlo, por lo que eso te ocupará la memoria RAM, tanto más cuanto mayor sea el fichero. Por si fuera poco también creas en memoria la lista con lo que quieres volcar al fichero de salida, por lo que doble espacio ocupado.

Para evitar eso deberás procesar el fichero línea a línea de modo que en memoria mantengas sólo unas pocas líneas en lugar de todas, tal como sugiere @CandidMoe en su respuesta.

Pero en tu caso hay un problema añadido. Si el procesamiento afectara a una sola línea, la cosa sería sencilla. Harías un bucle en que lees una línea, la procesas, y la escribes (o no) al fichero de salida. Pero en tu caso es un poco más difícil porque necesitas mantener un contexto (es decir, líneas alrededor de la que estás procesando, en concreto la anterior y las dos siguientes).

Creo que el mecanismo más simple para hacer lo que buscas, manteniendo el enfoque de leer línea a línea, es tener una estructura que te almacene las últimas 4 líneas que hayas leído, y decida si volcar o no esas cuatro líneas antes de pasar a la siguiente.

La estructura de datos ideal para esto es una deque, que funciona como una lista pero tiene una capacidad máxima (4 en este caso) y si añades más cuando ya está llena, automáticamente se van borrando las previas. Por ejemplo, en una deque de capacidad 3, si metes los números 1, 2, 3, y 4, quedarán almacenados solamente 2, 3, y 4 (y el 1 desaparece, por no caber ya).

Usando esta idea, más lo dicho al principio, el código quedaría así:

from collections import deque
input_file = 'input.txt' # El archivo que tiene que leer
output_file = 'output.txt' # El archivo resultante
buscado = 'TGGACCCC'

contexto = deque([], 4)  # Para mantener las últimas 4 líneas leídas

# Un bloque with abre a la vez ambos ficheros
with open(input_file) as f_in, open(output_file, "w") as f_out:
  # Un bucle for que itere por `f_in` recuperará una línea de cada vez
  for line in f_in:
    contexto.append(line)       # La añadimos al deque
    if  len(contexto) < 4:      # Mientras no se hayan leido al menos 4 seguimos
      continue
    if buscado in contexto[1]:  # Una vez leidas 4, miramos si aparece en la 1
      f_out.writelines(contexto) # Y en ese caso volcamos estas cuatro

Advertencia

El código anterior reproduce el comportamiento del tuyo, es decir, dará lugar al mismo resultado. Ten en cuenta sin embargo que tal vez ese resultado no sea correcto, pues puede volcar solapamientos que quizás no deseabas. Por ejemplo considera un fichero así:

Primera linea
Segunda con TGGACCCC
Tercera también con TGGACCCC
Cuarta no tiene el patrón
La quinta tampoco

No sé qué salida querrías obtener en un caso como este, pero la que obtendrías con tu código (o con el mío que equivale funcionalmente) sería lo siguiente:

Primera linea
Segunda con TGGACCCC
Tercera también con TGGACCCC
Cuarta no tiene el patrón
Segunda con TGGACCCC
Tercera también con TGGACCCC
Cuarta no tiene el patrón
La quinta tampoco

Ya que dentro del primer bloque de 4 líneas el patrón aparece en la segunda línea, por lo que se vuelca ese bloque, pero al avanzar a la línea siguiente se tiene un nuevo bloque de 4 líneas (que comparte tres líneas con el bloque anterior) que también contiene el patrón en la segunda línea, por lo que se vuelca también ese bloque. Al final se vuelcan 8 líneas y varias de ellas repetidas.

Si quisieras evitar esto y volcar solo el primer bloque de 4, deberías vaciar el deque (con contexto.clear()) tras volcarlo a disco.

Ten en cuenta también que si el fichero de entrada tiene el patrón TGGACCCC en alguna de sus tres últimas líneas, esos casos no se encontrarían ya que se busca que la línea sea la segunda de un bloque de 4 y el fichero se habría terminado antes de completar un bloque así. Esto lo puedes resolver añadiendo líneas en blanco al final del fichero de entrada.

5

Estas empleando la técnica inadecuada:

with open(input_file) as f:
    lines = f.readlines()

Esto lee el archivo completo a memoria en una sola operación. Es lento y consume tanta memoria como pesa el archivo.

Esto es algo que nunca debe hacer, a menos que se trate de archivos garantizadamente pequeños (uno o dos KB).

La forma correcta de procesar archivos es línea a línea: lees una línea de entrada, la procesas, y tan pronto tenga la línea de salida, la grabas.

Para leer líneas puedes usar readline(), que lee exactamente una línea, o considerar el archivo como un iterador, y hacer simplemente for linea in archivo:.

Este es el patrón básico para procesar un archivo de entrada generando uno de salida:

with open(input_file, "r") as in_file:
    with open(output_file, "w") as out_file:
        for line in in_file:
            #
            # Procesar una liena
            #
            out_file.write(line)

Cuando usas with no necesitas cerrar explicitamente el archivo; el with se encarga de eso.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.