3

Tengo un proceso de carga en un proyecto Django el cual a partir de un archivo excel almacena informacion en un modelo Negocio. Mi proceso de carga funciona, el problema es que el tiempo de ejecución es demasiado alto debido al volumen de data del insumo excel.

Modelo.py

class Negocio(models.Model):
    fecha_carga=models.DateField(auto_now_add=True)
    fecha_actividad=models.DateField()
    plataforma=models.CharField(max_length=50)
    tecnologia=models.CharField(max_length=50)
    terminal=models.CharField(max_length=50)
    cantidad=models.FloatField()
    plan_key=models.ForeignKey(Produccion,on_delete=models.CASCADE,null=True)
    local_key=models.ForeignKey(Local,on_delete=models.CASCADE,null=True)
    def __str__(self):
        return self.plataforma

Views.py

def Carga(dataframe):
    for row,col in dataframe.iterrows():
        fecha=col["Fecha"]
        Negocio(fecha_actividad=fecha,
                    plataforma = col['Plataforma'],
                    tecnologia = col['Tecnologia'],
                    terminal = col['Tipo Equipo'],
                    cantidad = col['Actividad'],
                    plan_key = ProduccionPlan.objects.get(fecha_produccion__year=fecha.year, fecha_produccion__month=fecha.month,plan__codigo_plan__iexact=col['Codigo Plan']),
                    local_key = Local.objects.get(codigo__iexact=col['Codigo Vendedor'])    
          ).save()

Esto es lo que en su momento se me ocurrió para almacenar la información, funciona pero no es lo mas óptimo ya que el tiempo de carga oscila entre los 40 y 45 minutos para archivos excel de 80.000 filas aproximadamente.

Estoy intentando utilizar las expresiones F() pero hasta los momentos no he tenido éxito

Para leer el insumo excel estoy utilizando pandas y mi BD esta en SQL Server.

Alguna ayuda o idea?

3
  • Yo refactoraria tus dos lineas de plan_key y local_key, estás haciendo una llamada al banco de dados a cada insercion, que tal crear una lista con todas las opciones de cada uno y buscar en la lista?
    – Onilol
    Commented el 14 may. 2018 a las 19:26
  • Buena idea, intentaré asi a ver que tal se comportan los tiempos, ahorita estoy probando con unos StoreProcedures en SQL a ver q tal. Cuando intente la opcion de las listas te cuento como me va Commented el 14 may. 2018 a las 19:38
  • También puedes usar Negocio.objects.create() que crea directamente el objeto en la base de datos y no ocupa memoria en el servidor. Así ya no te es necesario usar el save()
    – F Delgado
    Commented el 15 may. 2018 a las 7:50

2 respuestas 2

1

Update

Pasados varios años desde la respuesta original, me he topado con este tipo de problemas y las sentencias SQL planas me han sacado del apuro. Por el momento es la manera más performante que he encontrado cuando he necesitado insertar millones de tuplas en la base de datos en pocos segundos.

Respuesta original

Al parecer la gran parte de la carga se la lleva las consultar a la base de datos que realizas en cada inserción. Una solución podría ser ordenar todo el dataframe por fecha, código de plan y código de vendedor, entonces vas obteniendo las entidades de ProduccionPlan y Local solo cuando estas cambian:

def Carga(dataframe):
    dataframe = dataframe.sort_values(['Fecha', 'Codigo Plan', 'Codigo Vendedor'], ascending=[False])  # Ordeno por Fecha, Codigo Plan y Codigo Vendedor
    fecha_anterior = codigo_plan_anterior = codigo_vendedor_anterior = produccion_plan_obj = local = None
    for row,col in dataframe.iterrows():
        # Me fijo si la fecha o codigo de plan cambio
        fecha = col["Fecha"]
        codigo_plan = col['Codigo Plan']
        if fecha != fecha_anterior or codigo_plan_anterior != codigo_plan:
            fecha_anterior = fecha
            codigo_plan_anterior = codigo_plan
            produccion_plan_obj = ProduccionPlan.objects.get(fecha_produccion__year=fecha.year, fecha_produccion__month=fecha.month,plan__codigo_plan__iexact=codigo_plan)

        # Me fijo si el codigo de vendedor cambia
        codigo_vendedor = col['Codigo Vendedor']
        if codigo_vendedor_anterior != codigo_vendedor:
            codigo_vendedor_anterior = codigo_vendedor
            local_obj = Local.objects.get(codigo__iexact=codigo_vendedor)

        # Aporte de @F Delgado, create es mas rapido
        Negocio.objects.create(fecha_actividad=fecha,
                    plataforma = col['Plataforma'],
                    tecnologia = col['Tecnologia'],
                    terminal = col['Tipo Equipo'],
                    cantidad = col['Actividad'],
                    plan_key = produccion_plan_obj,
                    local_key = local_obj  
        )

Además agregamos el Negocio.objects.create como dijo F Delgado que es más performante que instanciar el objeto y guardarlo (evitamos la carga en memoria).

Espero haber sido de ayuda!

Saludos!

0

que pasa si recorres inicialmente el dataframe para extraer las filtros necesarios, para realizar tus consultas a los dos modelos esos que tienes ahi y luego creas de cada consulta un diccionario indexado por esas claves. Ej

codigo_vendedor_list = listado extraido de la lectura del dataframe

qs_local = Local.objects.filter(codigo__in=codigo_vendedor_list)
local_dict = {codigo_vendedor: local_instance for local_instance in qs_local}

y asi con el otro queryset

luego al momento de guardar/editar, accedes a esos dict local_instance = local_dict.get(codigo_vendedor)

ahi la busqueda deberia bajar considerablemente

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.