1

tengo una duda. Estoy desarrollando una aplicación que ha de trabajar con ficheros bastante pesados (300k líneas aprox en cada uno de varios excel)y quisiera saber si existe alguna forma de limpiar la memoria entre ejecuciones en Python a efectos de evitar un posible MemoryError.

Mi código sigue el siguiente esquema:

función main(parametro1, parametro2) (cada uno de los parámetros es un xlsx)
~~~~~~ (código de la función)

main(xlsx1, xlsx2)
main(xlsx1, xlsx3)
---
main(xlsx2, xlsx1)
---

Es decir, tengo una función a la que llamo una vez por cada posible pareja de archivos (y, por lo tanto, parámetros).

Para más información, estoy utilizando openpyxl como módulo para trabajar con xlsx.

Gracias de antemano

2
  • Vale, osease que entre llamada y llamada se limpia. Muchísimas gracias!!
    – Phazoning
    Commented el 14 jun. 2019 a las 10:28
  • En principio si, pero puede que no si tienes referencias cíclicas por ejemplo. En este caso se limpiara en algún momento pero no tiene por qué ocurrir entre llamadas, de hecho posiblemente no ocurra. Generalmente no tienes que preocuparte por esto, pero hay casos en los que si. He creado una respuesta, es un "tocho" importante, pero he intentado explicar lo mejor que he podido como se implementa el GC en Python por si a alguien le interesa y le resulta útil. Un saludo.
    – FJSevilla
    Commented el 15 jun. 2019 a las 14:11

1 respuesta 1

4

En Python el manejo de memoria es automático, el intérprete implementa un recolector de basura encargado de liberar los recursos poniendo la memoria a disposición del proceso o el SO cuando un objeto deja de ser necesario. En todo momento me voy a referir a la implementación oficial (CPython), dado que otras implementaciones como PyPy, Jython, IronPython, etc hacen uso de distintos tipos de recolectores de basura con aproximaciones distintas.

En condiciones normales no tienes que preocuparte de nada, pero hay situaciones en las que comprender como fucnionan los ámbitos, las varibles y la recoleccion de basura pueden ser de gran ayuda para detectar problemas de memoria, corregirlos y optimizar el código.

Generalizando, todo en Python son objetos en memoria, incluso una función, una clase o un módulo importado son representados por objetos. Una variable por su parte no es una variable realmente, es un nombre o identificador asociado a la referencia de un objeto en memoria.

nombre -> referencia -> objeto

Bien, el recolector de basura tiene dos vertientes:

Recolector de basura por conteo de referencias

La idea debajo del mismo es muy simple, se lleva la cuenta de las referencias que un objeto en memoria tiene y cuando éste pierde todas las referencias se llama de llama automáticamente al destructor específico del objeto.

Si un objeto contiene referencias a otros objetos, su conteo de referencias también se reduce.

Las variables definidas dentro de bloques tienen un alcance local, pertenecen al bloque y su vida se limita al tiempo de ejecución del mismo. Cuando se sale del bloque se destruye todas las referencias creadas dentro del mismo.

Las variables globales viven hasta el final del proceso de Python si no se eliminan explícitamente mediante del, Por lo que el conteo de referencias a a los objetos que apuntan nunca cae a 0.

Por lo tanto, cada vez que tu función main termina automáticamente se liberará toda memoria asociada a objetos locales a ella. Esta es la gran ventaja de este tipo de recolector de basura, la eliminación es inmediata.

Veamos un ejemplo (la clase PyObject solo sirve para obtener el número de referencias del objeto mediante su id):

import ctypes

class PyObject(ctypes.Structure):
    _fields_ = [("refcnt", ctypes.c_long)]

    @classmethod
    def ref_count(cls, id):
        return cls.from_address(id).refcnt

po = PyObject()

def main():
    a = []
    b = []
    return id(a), id(b)

id_a, id_b = main()
print(PyObject.ref_count(id_a))
print(PyObject.ref_count(id_b))

Lo anterior imprime 0 y 0, es decir, las listas creadas en la función carecen de referencias una vez retornada la función y el recolector de basura las manda automáticamente a mejor vida.

En este punto es importante entender que hace del realmente. Su función es doble:

  • Elimina el identificador/nombre
  • Desciende el número de referencias al objeto al que apuntaba el nombre en uno.

del nunca elimina un objeto y libera la memoria que usa, jamás. Esto solo ocurre si el nombre (variable) era la única referencia al objeto, en cuyo caso del nombre hace que el contador de referencias pase a 0 para el objeto asociado y el GC lo deslocalizará.

a = []
b = [a]

id_a = id(a)
id_b = id(b)
print(PyObject.ref_count(id_a)) # 2
print(PyObject.ref_count(id_b)) # 1

del a
print(PyObject.ref_count(id_a)) # 1
print(PyObject.ref_count(id_b)) # 1

del b
print(PyObject.ref_count(id_a)) # 0
print(PyObject.ref_count(id_b)) # 0

Podemos ver como a pesar de eliminar a, la lista a la que apuntaba no es eliminada porque la lista a la que apunta b tiene una referencia a ella. Al eliminar b, la lista a la que apunta se queda sin referencias por lo que es eliminada, esto hace que la lista que contiene (a la que apuntaba a) quede sin referencias y también sea eliminada. Es una muestra del proceso en cascada que desencadena el recolector de basura por conteo de referencias.

Hay casos en los que llamar a del puede ser buena idea, imaginemos que tenemos una fucnión que crea una variable a la que asigna una lista muy larga de enteros, una vez obtenida la media para los enteros de la lista la función sigue ejecutandose pero la lista y su varible no van a ser usadas más, usar del significa que la memoria que ocupa será liberada mientras la fucnión se está ejecutando y no cuando esta retorne (esa memoria puede ser necesaria para completar la fucnión). Si hemos entendido como fucniona Python y las "variables", si reasignamos la variable a otro objeto la lista será igualmente recolectada.

Recolector de basura generacional o cíclico

Una de las mayores desventajas del recolector de basura por conteo de referencias es que es incapaz de lidiar con referencias cíclicas, dado que como es lógico su contador de referencias jamás llega a 0.

Un ejemplo muy simple de referencia cíclica:

import ctypes

class PyObject(ctypes.Structure):
    _fields_ = [("refcnt", ctypes.c_long)]

    @classmethod
    def ref_count(cls, id):
        return cls.from_address(id).refcnt

po = PyObject()

def main():
    a = []
    b = []

    a.append(b)
    b.append(a)

    return id(a), id(b)

id_a, id_b = main()
print(PyObject.ref_count(id_a))
print(PyObject.ref_count(id_b))

Lo anterior nos imprime 1 y 1... Después de retornar la función ambas listas tiene una referencia cada una, porque aunque a y b son eliminadas y sus referencias junto a ellas, ambas listas tienen referencias cruzadas al contenerse mutuamente. Aquí el recolector de basura por conteo de referencias no actúa porque su contador de referencias jamás llega a 0, aunque ninguna variable esté asociada a los objetos en nuestro código, los objetos persisten en memoria y se referenciaan mutuamente.

La referencias cíclicas solo pueden darse en objetos que puedan contener a otros objetos como listas, clases, diccionarios, etc. EL recolector de basura generacional solo monitoriza objetos susceptibles de producir referencias cíclicas, excluyendo a muchos otros principalmente inmutables como str, int o float. Las tuplas y sets se excluyen en algunos casos específicos también en los que solo contengan objetos inmutables. Su funcionamiento se basa en clasificar los objetos en tres categorías o generaciones (por defecto son tres, pero puede ser modificado):

  • Cuando se crea un objeto que deba ser monitorizado se agrega a la primera generación. Solo los objetos contenedores que contienen al menos una referencia son agregados.

  • Si un objeto sobrevive a una ronda de recolección de basura, se promociaona a la generación siguiente.

  • Las generaciones más bajas se recolectan más a menudo que las más altas. Esto se debe a que se parte de la premisa que los objetos recién creados se destruyen pronto. A esto se le conoce como "weak generational hypothesis" y si lo pensamos suele ser cierto. Por ejemplo, cuando se llama a una función se suelen crear bastantes objetos locales que son destruidos nada más retornar la función.

  • El recolector de basura generacional no funciona en tiempo real como el de conteo de referencias, se ejecuta periódicamente en función de ciertos algoritmos de optimización para reducir su frecuencia y tiempos de espera al máximo, por ejemplo se intensifican cuando la memoria disponible es reducida.

  • Cada generación tiene un contador de objetos que se actualiza en cada ciclo y un umbral de disparo individuales. Si se supera el umbral se inicia el proceso de recolección. Al limitar la búsqueda de ciclos de referencia a una sola generación se reduce la sobrecarga de trabajo por recolección. dicho umbral se establece en [700, 10, 10] (primera, segunda y tercera generación) por defecto, pero también puede modificarse.

  • Proceso de detección de referencias cíclicas y recolectado:

    • Cuando se inicia la recolección llega la parte más compleja del GC, detectar las referencias cíclicas. Primero se hace una copia del recuento de referencias para cada objeto en la generación, de modo que el recolector de basura pueda mutar su propia versión del recuento de referencias sin alterar el recuento de referencia real.

    • Se recorre cada uno de los objetos en la generación (en realidad se recorre un puntero llamado young que contiene las referencias de los objetos de la generación) y se disminuye los recuentos de referencias en cualquier otro objeto contenido en el mismo.

    • Llegados a este punto el recuento de referencias en un objeto en la generación debe ser igual al número de referencias a ese objeto de los objetos que no pertenecen a esa generación. Esto se debe a que hemos eliminado todas la referencias suyas en su generación

    • Ahora se clasifican los objetos según su número de referencias, los que tienen 0 referencias son candidatos a ser recolectados y son clasificados como "unreachable" (haciendo referencia a que el objeto no es accesible, no tiene referencias, desde fuera de su generación). Los objetos con un recuento de referencias menor a 1 se marcan como accesibles ("reachables") y se itera sobre sus referencias las cuales se marcan también como "reachables" y se mueven al final de la lista young. Cuando este proceso se completa, cualquier objeto en la lista de no accesibles es seguro que no tiene referencias en el código Python, por lo que debe ser eliminado y su memoria liberada. El resto se promocionan de generación o se fusionan con los de las generaciones anteriores (dependiendo de en que genración estemos).

El recolector generacional en Python no tiene una sobrecarga muy alta, pero obviamente bloquea el intérprete en cada ciclo de recolección. No es un invento nuevo y se ha optimizado mucho, especialmente la heurística que determina cuando es oportuno lanzar un ciclo de recolección. El tener de guardaespaldas el contador de referencias en tiempo real, hace que el GC generacional solo tenga que encargarse de las deferencias cíclicas que le primero no puede manejar. Generalmente no tenemos que preocuparnos de nada de esto, esa el la idea de un recolector de basura, pero eventualmente puede ser útil manejar manualmente el recolector de basura generacional (el de conteo de referencias es totalmente automático y no es transparente al programador).

El módulo gc de la stdlib expone herramientas para detener (gc.disable()), iniciar (gc.ensable()), modificar los umbrales (gc.set_threshold()), lanzar ciclos de recolección de forma explícita (gc.collect()), monitorizar cada generación y el numero de objetos que contiene, etc. Esto es muy útil cuando tenemos una función en la que queremos el máximo rendimiento posible y estamos seguros de no estar ocasionando referencias cíclicas (o estas no importan hasta después de que la función retorne). En este caso podemos detener el recolector cíclico, evitando su sobrecarga, y reiniciarlo una vez el trabajo esté hecho. También podemos realizar ciclos de recolección explícitos si en un momento determinado queremos liberar memoria con referencias cíclicas.

Es importante si queremos exprimir en lo posible el rendimiento, no generar referencias cíclicas en lo posible. Para ello usar referencias débiles, weakref, puede ser de gran ayuda.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.