1

Tengo un proyecto Django relacionado con consumos energéticos, por medio del cual visualizo los consumos de un hogar durante un mes. Para obtener esa información, empleo el siguiente código:

consumos = Measurement.objects.filter(idhogar=hogar)
filtrados = consumos.values_list("coste",flat=True).filter(timestampfinal__gt=iniciomes,timestampfinal__lte=finalmes)
suma = sum(filtrados)

Actualización 1 - El modelo Measurement:

class Measurement(models.Model):
     measurementid = models.AutoField(db_column='MeasurementID', primary_key=True)  # Field name made lowercase.
     valor = models.FloatField(db_column='Valor', blank=True, null=True)  # Field name made lowercase.
     coste = models.FloatField(db_column='Coste', blank=True, null=True)  # Field name made lowercase.
     timestampinicio = models.BigIntegerField(db_column='timestampinicio', blank=True, null=True)  # Field name made lowercase.
     timestampfinal = models.BigIntegerField(db_column='timestampfinal', blank=True, null=True)  # Field name made lowercase.
     devicesetupid = models.ForeignKey(Devicesetup, models.DO_NOTHING, db_column='DeviceSetupID', blank=True, null=True)  # Field name made lowercase.

El caso es que obtengo una lista con una longitud de 9000 valores. Pero al sumar todos los valores de dicha lista, tarda entre 3 y 4 segundos. He probado a crear un script de Python que suma una lista de 9000 valores, y tarda muchísimo menos (0.000176 segundos)

array = range(9000)
inicio = datetime.datetime.now()
suma = sum(array)
print "Tiempo: \t{}".format(datetime.datetime.now()-inicio)

No entiendo la razón de esta gran diferencia de tiempo, ya que en el código de Django obtengo una lista desde la base de datos y no hago más cosnultas, por lo que debería calcular la suma mucho más rápido.

He probado a poner Debug = False porque he leído que de esta manera se reduce el tiempo, pero no ha funcionado.

¿Cuál puede ser la causa de este problema, si las listas tratadas tienen la misma longitud?

11
  • Seguramente sea el backend de datos que necesita optimización. Añade el modelo de datos para poder indicarte algo. Commented el 2 mar. 2017 a las 11:38
  • Modelo Measurement añadido. Commented el 2 mar. 2017 a las 13:22
  • ¿Por qué simplemente no haces un aggregate tal como dice la documentación aquí? Commented el 2 mar. 2017 a las 13:23
  • Ya lo he probado, pero sigue tardando el mismo tiempo, 3-4 segundos. Commented el 2 mar. 2017 a las 13:27
  • Pero tal vez esté relacionado con el desempeño de tu consulta y no con la ejecución de la suma. Instala debug toolbar para verificar si efectivamente solo estás haciendo una consulta y de preferencia usa tu gestor de base de datos para estas operaciones usando aggregate como comenta @GermanAlzate.
    – toledano
    Commented el 2 mar. 2017 a las 13:30

1 respuesta 1

1

¿Has probado a utilizar una Agregación? Así haría el cálculo únicamente tu motor de base de datos.

from django.db.models import F, FloatField, Sum

consumos = Measurement.objects.filter(idhogar=hogar)
filtrados = consumos.filter(timestampfinal__range=[iniciomes, finalmes]).aggregate(Sum(F("coste"), output_field=FloatField()))

Además, si vas a utilizar la expresión __lt y __gt con el mismo campo, puedes utilizar range, que queda mucho más legible :).

Aún así, de cara a cuando crezca el tamaño de tu tabla, deberías añadir un db_index=True en la columna timestampfinal.

¡Un saludo!

7
  • Sí, lo he probado, pero sigue tardando entre 3 y 4 segundos. Me he dado cuenta de que el problema no es la suma, sino la obtención de datos. Sin embargo, aunque sea el motor de la base de datos quien haga la suma, ¿hay alguna forma de realizar esa query de manera más rápida? Commented el 3 mar. 2017 a las 14:37
  • Se me hace rarísimo que tarde tanto en hacer un Sum con 9000 registros. Estoy probando a hacer lo mismo con una tabla que tiene 37000 y tarda en resolver la consulta y devolverme los datos 0.017s. ¿No será que el problema está en el filtrado por timestampfinal y el volumen de registros que tiene tu tabla Measurement? ¿Has probado a ponerlo como db_index?
    – Andruten
    Commented el 6 mar. 2017 a las 10:47
  • El volumen de registros podría ser la causa, pero ¿qué problema podría dar el filtrado por timestampfinal? Probaré a ponerlo como db_index. Gracias por la ayuda. Commented el 6 mar. 2017 a las 11:06
  • Si el volumen de registros es muy grande, el filtrado por un campo que no es índice es costosísimo. Prueba y me dices :).
    – Andruten
    Commented el 6 mar. 2017 a las 11:11
  • Hago uso de una base de datos que ya existía antes de empezar con el proyecto de Django, hice uso de inspectdb para importar los modelos. ¿Puedo utilizar db_index en este caso? Commented el 6 mar. 2017 a las 13:13

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.