Hay una buena discusión en SO original sobre la eficiencia de readlines()
. Básicamente, el lío está en que va a leer todo el archivo antes de iterar entre las líneas. Cargas en memoria todo el archivo antes de comenzar a recorrerlo.
Para evitar semejante cosa, uno puede definir el buffer asignado al readlines
with open('foo') as f:
while True:
lines = f.readlines(8192)
if not lines:
break
for line in lines:
pass
o iterar de forma mucho más sencilla:
with open('foo') as f:
for line in f:
pass
Ya ahí deberías poder guardar en el otro archivo lo que intentas guardar.
Sobre tu error, posiblemente la doble iteración
...
f = open(file, 'r', encoding='utf-8-sig')
for lines in f: # primera iteracion línea a línea
save = f.readlines()[:500] #segunda iteracion
...
está haciendo que el cierre del archivo genere líos al seguir iterando y el readlines falle porque line es nulo. Simplifica la iteración para evitar este problema