1

Tengo un proyecto Django relacionado con consumos energéticos, por medio del cual visualizo los consumos de un hogar durante un mes. Para obtener esa información, empleo el siguiente código:

consumos = Measurement.objects.filter(idhogar=hogar)
filtrados = consumos.values_list("coste",flat=True).filter(timestampfinal__gt=iniciomes,timestampfinal__lte=finalmes)
suma = sum(filtrados)

Actualización 1 - El modelo Measurement:

class Measurement(models.Model):
     measurementid = models.AutoField(db_column='MeasurementID', primary_key=True)  # Field name made lowercase.
     valor = models.FloatField(db_column='Valor', blank=True, null=True)  # Field name made lowercase.
     coste = models.FloatField(db_column='Coste', blank=True, null=True)  # Field name made lowercase.
     timestampinicio = models.BigIntegerField(db_column='timestampinicio', blank=True, null=True)  # Field name made lowercase.
     timestampfinal = models.BigIntegerField(db_column='timestampfinal', blank=True, null=True)  # Field name made lowercase.
     devicesetupid = models.ForeignKey(Devicesetup, models.DO_NOTHING, db_column='DeviceSetupID', blank=True, null=True)  # Field name made lowercase.

El caso es que obtengo una lista con una longitud de 9000 valores. Pero al sumar todos los valores de dicha lista, tarda entre 3 y 4 segundos. He probado a crear un script de Python que suma una lista de 9000 valores, y tarda muchísimo menos (0.000176 segundos)

array = range(9000)
inicio = datetime.datetime.now()
suma = sum(array)
print "Tiempo: \t{}".format(datetime.datetime.now()-inicio)

No entiendo la razón de esta gran diferencia de tiempo, ya que en el código de Django obtengo una lista desde la base de datos y no hago más cosnultas, por lo que debería calcular la suma mucho más rápido.

He probado a poner Debug = False porque he leído que de esta manera se reduce el tiempo, pero no ha funcionado.

¿Cuál puede ser la causa de este problema, si las listas tratadas tienen la misma longitud?

11
  • Seguramente sea el backend de datos que necesita optimización. Añade el modelo de datos para poder indicarte algo. el 2 mar. 2017 a las 11:38
  • Modelo Measurement añadido. el 2 mar. 2017 a las 13:22
  • ¿Por qué simplemente no haces un aggregate tal como dice la documentación aquí? el 2 mar. 2017 a las 13:23
  • Ya lo he probado, pero sigue tardando el mismo tiempo, 3-4 segundos. el 2 mar. 2017 a las 13:27
  • Pero tal vez esté relacionado con el desempeño de tu consulta y no con la ejecución de la suma. Instala debug toolbar para verificar si efectivamente solo estás haciendo una consulta y de preferencia usa tu gestor de base de datos para estas operaciones usando aggregate como comenta @GermanAlzate.
    – toledano
    el 2 mar. 2017 a las 13:30

1 respuesta 1

1

¿Has probado a utilizar una Agregación? Así haría el cálculo únicamente tu motor de base de datos.

from django.db.models import F, FloatField, Sum

consumos = Measurement.objects.filter(idhogar=hogar)
filtrados = consumos.filter(timestampfinal__range=[iniciomes, finalmes]).aggregate(Sum(F("coste"), output_field=FloatField()))

Además, si vas a utilizar la expresión __lt y __gt con el mismo campo, puedes utilizar range, que queda mucho más legible :).

Aún así, de cara a cuando crezca el tamaño de tu tabla, deberías añadir un db_index=True en la columna timestampfinal.

¡Un saludo!

7
  • Sí, lo he probado, pero sigue tardando entre 3 y 4 segundos. Me he dado cuenta de que el problema no es la suma, sino la obtención de datos. Sin embargo, aunque sea el motor de la base de datos quien haga la suma, ¿hay alguna forma de realizar esa query de manera más rápida? el 3 mar. 2017 a las 14:37
  • Se me hace rarísimo que tarde tanto en hacer un Sum con 9000 registros. Estoy probando a hacer lo mismo con una tabla que tiene 37000 y tarda en resolver la consulta y devolverme los datos 0.017s. ¿No será que el problema está en el filtrado por timestampfinal y el volumen de registros que tiene tu tabla Measurement? ¿Has probado a ponerlo como db_index?
    – Andruten
    el 6 mar. 2017 a las 10:47
  • El volumen de registros podría ser la causa, pero ¿qué problema podría dar el filtrado por timestampfinal? Probaré a ponerlo como db_index. Gracias por la ayuda. el 6 mar. 2017 a las 11:06
  • Si el volumen de registros es muy grande, el filtrado por un campo que no es índice es costosísimo. Prueba y me dices :).
    – Andruten
    el 6 mar. 2017 a las 11:11
  • Hago uso de una base de datos que ya existía antes de empezar con el proyecto de Django, hice uso de inspectdb para importar los modelos. ¿Puedo utilizar db_index en este caso? el 6 mar. 2017 a las 13:13

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.