1

Esto en el dilema de como hacer para leer un csv de 1.000.000 de registros y volver hasta la linea que proceso anteriormente. Esto sucederia cuando se pare el proceso en el medio, es decir necesito retormarlo desde el ultimo punto.

Me imaginaba como escribir la linea del csv en un archivo .txt y compararla con el indice del bucle for que procesa el csv y hacer que retome desde ese punto.

Cual es la lógica que debo usar? los datos procesados deben ser subidos a una base de datos DynamoDB pero no debo repetir un proceso ya leído e insertado anteriormente.

Muchas gracias!

1 respuesta 1

1

Para poder seguir leyendo un archivo en la línea donde se dejó necesitas recolocar el cursor en ese lugar.

Puedes hacer lo que planteas, guardar el número de línea en un archivo de texto, serializando la variable con pickle o incluso en la propia base de datos.

Posteriormente debes volver a recorrer línea por linea el archivo hasta llegar a la línea deseada, algo como:

datos = 'archivo.csv'
# Cargamos la última linea leida
ultima = 991 

f = open(datos, 'r')

# Recorremos las lineas hasta posicionar el cursor en la ultima leida
for n, _ in enumerate(f):
    if n == ultima:
        break

#Leemos las lineas que queramos y vamos aumentando el contador
for _ in range(100):
    print(linea)
    ultima += 1

f.close()
#Guardamos la última linea leida para otra vez

Otra opción es evitarnos volver a recorrer el archivo de nuevo posicionando el cursor en el sitio donde lo dejamos. Es importante asegurarse que el archivo no es modificado nunca entre lecturas, si se añade o elimina un byte obtendremos resultados inesperados (igual que si añadimos líneas en el ejemplo anterior). Para ello usaremos los métodos tell (obtener la posición del cursor) y seek (para posicionar el cursor donde queramos):

datos = 'archivo.csv'
# Cargamos la última posición del cursor
cursor = 1000 

f = open(datos, 'r')

# Recorremos las lineas hasta posicionar el cursor en la ultima leida
f.seek(cursor)

#Leemos las lineas que queramos y vamos aumentando el contador
for _ in range(100):
    print(linea)
    ultima += 1

f.close()
cursor = f.tell()
#Guardamos la variable cursor para reanudar en otro momento

Una implemntación de esta última idea usando pickle para serializar los datos puede ser:

import os
import pickle

class Reader:
    def __init__(self, ruta):
        self.ruta = ruta
        self.archivo = open(ruta)
        self.cursor = 0

    def get_line(self):       
        line = self.archivo.readline()
        self.cursor = self.archivo.tell()
        return line

    def restart(self):
        self.cursor = 0
        self.archivo.seek(0) 
         
    def __getstate__(self):
        new_dict = self.__dict__.copy()
        del new_dict['archivo']
        return new_dict

    def __setstate__(self, dict):
        archivo = open(dict['ruta'])
        cursor = dict['cursor']
        archivo.seek(cursor)
        self.__dict__.update(dict)
        self.archivo = archivo
        

class TextReader:
    def __init__(self, ruta):
        self.ruta = os.path.abspath(ruta)
        self.temp = os.path.splitext(self.ruta)[0]+ '.temp'

        try:
            with open(self.temp, 'rb') as dat:
                self.reader = pickle.load(dat)
        except:
            print('fallo')
            self.reader = Reader(self.ruta)

    def save(self):
        pickle.dump(self.reader, open(self.temp, 'wb'))

    def get_lines(self, n):
        #Retorna un generador con el numero de lineas especificadas si estan disponibles
        for _ in range(n):
            line =  self.reader.get_line()
            if line:
                yield line
            else:
                break
        self.save()
            
    def readlines(self):
        #Retorna un generador con todas las líneas hasta el final del archivo
        while True:
            line = self.reader.get_line()
            if line:
                yield line
            else:
                break
        self.save()

    def restart(self):
        #Reinicia el cursor al inicio del documento
        self.reader.restart()

Uso:

#Instanciamos pasandole la ruta del archivo a leer
f = TextReader('archivo.txt')

#Leemos las lineas que queramos y salimos de la aplicacion
for line in f.get_lines(100):
    print(line)

Ahora se nos debe haber creado un fichero con el nombre de nuestro archivo pero con extensión .temp que no es más que una inatancia de Reader serializada con pickle.

En cualquier otro momento podemos volver a leer el archivo por donde lo dejamos:

#Instanciamos de nuevo pasandole la ruta del archivo a leer
f = TextReader('archivo.txt')

#Leemos las lineas que queramos
for line in f.get_lines(100):
    print(line)

En este caso se leeran 100 lineas pero desde donde lo dejamos la primera vez. Podemos usar f.restart() para volver a leer el documento desde el principio (o simplemente eliminar el fichero .temp)

Es solo una idea de como usar el cursor junto a pickle para retomar la lectura de un archivo, se debería optimizar y ajustar a tu caso concreto para que sea más eficiente. Y recuerda, el archivo no debe modificarse bajo ningún concepto mientras se pretenda retomar una lectura donde se dejó.

3
  • Hola @FJSevilla, muchas gracias, estos ejemplos podría utilizarlos en un archivo .csv verdad? Por otro lado en algunas partes (bucles for) has añadido un _ supongo que ese valor es a elegir por mi no? No es una parámetro del for. Te agradezco inmensamente tu tiempo y ayuda!
    – Hugo Lesta
    el 2 jun. 2017 a las 22:13
  • @HugoLesta puedes usarlo en cualquier archivo que contenga lineas. La extension da igual, tu lees bytes sea un exe o un txt (solo cambia que si es un archivo de texto codificas esos bytes con ANSII, UNICODE o cualquier codificación para que sea leido por humanos). Lo del uso de _ es una convención en Python, es una variable que no se usa nunca dentro del for ya que solo usamos el numero de línea (n) por lo que se suele usar _ para denotarlo pero puedes poner lo que quieras, aunque no tienes que cambiarlo por nada, es válido y se suele hacer así.
    – FJSevilla
    el 2 jun. 2017 a las 22:21
  • muchas gracias por tu ayuda!
    – Hugo Lesta
    el 3 jun. 2017 a las 1:08

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.