Hay una buena discusión en SO original sobre la eficiencia de readlines()
. Básicamente, el lío está en que va a leer todo el archivo antes de iterar entre las líneas. Cargas en memoria todo el archivo antes de comenzar a recorrerlo.
Para evitar semejante cosa, uno puede definir el buffer asignado al readlines
with open('foo') as f:
while True:
lines = f.readlines(8192)
if not lines:
break
for line in lines:
pass
o iterar de forma mucho más sencilla:
with open('foo') as f:
for line in f:
pass
Ya ahí deberías poder guardar en el otro archivo lo que intentas guardar.
Sobre tu error, posiblemente la doble iteración está haciendo que el cierre del archivo genere líos al seguir iterando y el readlines falle porque line es nulo. Simplifica la iteración para evitar este problema