Para poder seguir leyendo un archivo en la línea donde se dejó necesitas recolocar el cursor en ese lugar.
Puedes hacer lo que planteas, guardar el número de línea en un archivo de texto, serializando la variable con pickle
o incluso en la propia base de datos.
Posteriormente debes volver a recorrer línea por linea el archivo hasta llegar a la línea deseada, algo como:
datos = 'archivo.csv'
# Cargamos la última linea leida
ultima = 991
f = open(datos, 'r')
# Recorremos las lineas hasta posicionar el cursor en la ultima leida
for n, _ in enumerate(f):
if n == ultima:
break
#Leemos las lineas que queramos y vamos aumentando el contador
for _ in range(100):
print(linea)
ultima += 1
f.close()
#Guardamos la última linea leida para otra vez
Otra opción es evitarnos volver a recorrer el archivo de nuevo posicionando el cursor en el sitio donde lo dejamos. Es importante asegurarse que el archivo no es modificado nunca entre lecturas, si se añade o elimina un byte obtendremos resultados inesperados (igual que si añadimos líneas en el ejemplo anterior). Para ello usaremos los métodos tell
(obtener la posición del cursor) y seek
(para posicionar el cursor donde queramos):
datos = 'archivo.csv'
# Cargamos la última posición del cursor
cursor = 1000
f = open(datos, 'r')
# Recorremos las lineas hasta posicionar el cursor en la ultima leida
f.seek(cursor)
#Leemos las lineas que queramos y vamos aumentando el contador
for _ in range(100):
print(linea)
ultima += 1
f.close()
cursor = f.tell()
#Guardamos la variable cursor para reanudar en otro momento
Una implemntación de esta última idea usando pickle
para serializar los datos puede ser:
import os
import pickle
class Reader:
def __init__(self, ruta):
self.ruta = ruta
self.archivo = open(ruta)
self.cursor = 0
def get_line(self):
line = self.archivo.readline()
self.cursor = self.archivo.tell()
return line
def restart(self):
self.cursor = 0
self.archivo.seek(0)
def __getstate__(self):
new_dict = self.__dict__.copy()
del new_dict['archivo']
return new_dict
def __setstate__(self, dict):
archivo = open(dict['ruta'])
cursor = dict['cursor']
archivo.seek(cursor)
self.__dict__.update(dict)
self.archivo = archivo
class TextReader:
def __init__(self, ruta):
self.ruta = os.path.abspath(ruta)
self.temp = os.path.splitext(self.ruta)[0]+ '.temp'
try:
with open(self.temp, 'rb') as dat:
self.reader = pickle.load(dat)
except:
print('fallo')
self.reader = Reader(self.ruta)
def save(self):
pickle.dump(self.reader, open(self.temp, 'wb'))
def get_lines(self, n):
#Retorna un generador con el numero de lineas especificadas si estan disponibles
for _ in range(n):
line = self.reader.get_line()
if line:
yield line
else:
break
self.save()
def readlines(self):
#Retorna un generador con todas las líneas hasta el final del archivo
while True:
line = self.reader.get_line()
if line:
yield line
else:
break
self.save()
def restart(self):
#Reinicia el cursor al inicio del documento
self.reader.restart()
Uso:
#Instanciamos pasandole la ruta del archivo a leer
f = TextReader('archivo.txt')
#Leemos las lineas que queramos y salimos de la aplicacion
for line in f.get_lines(100):
print(line)
Ahora se nos debe haber creado un fichero con el nombre de nuestro archivo pero con extensión .temp
que no es más que una inatancia de Reader
serializada con pickle.
En cualquier otro momento podemos volver a leer el archivo por donde lo dejamos:
#Instanciamos de nuevo pasandole la ruta del archivo a leer
f = TextReader('archivo.txt')
#Leemos las lineas que queramos
for line in f.get_lines(100):
print(line)
En este caso se leeran 100 lineas pero desde donde lo dejamos la primera vez. Podemos usar f.restart()
para volver a leer el documento desde el principio (o simplemente eliminar el fichero .temp)
Es solo una idea de como usar el cursor junto a pickle para retomar la lectura de un archivo, se debería optimizar y ajustar a tu caso concreto para que sea más eficiente. Y recuerda, el archivo no debe modificarse bajo ningún concepto mientras se pretenda retomar una lectura donde se dejó.