Skip to main content
Agregado nueva solución más performante
Origen Enlace
Genarito
  • 2.6k
  • 24
  • 45

Update

Pasados varios años desde la respuesta original, me he topado con este tipo de problemas y las sentencias SQL planas me han sacado del apuro. Por el momento es la manera más performante que he encontrado cuando he necesitado insertar millones de tuplas en la base de datos en pocos segundos.

Respuesta original

Al parecer la gran parte de la carga se la lleva las consultar a la base de datos que realizas en cada inserción. Una solución podría ser ordenar todo el dataframe por fecha, código de plan y código de vendedor, entonces vas obteniendo las entidades de ProduccionPlan y Local solo cuando estas cambian:

def Carga(dataframe):
    dataframe = dataframe.sort_values(['Fecha', 'Codigo Plan', 'Codigo Vendedor'], ascending=[False])  # Ordeno por Fecha, Codigo Plan y Codigo Vendedor
    fecha_anterior = codigo_plan_anterior = codigo_vendedor_anterior = produccion_plan_obj = local = None
    for row,col in dataframe.iterrows():
        # Me fijo si la fecha o codigo de plan cambio
        fecha = col["Fecha"]
        codigo_plan = col['Codigo Plan']
        if fecha != fecha_anterior or codigo_plan_anterior != codigo_plan:
            fecha_anterior = fecha
            codigo_plan_anterior = codigo_plan
            produccion_plan_obj = ProduccionPlan.objects.get(fecha_produccion__year=fecha.year, fecha_produccion__month=fecha.month,plan__codigo_plan__iexact=codigo_plan)

        # Me fijo si el codigo de vendedor cambia
        codigo_vendedor = col['Codigo Vendedor']
        if codigo_vendedor_anterior != codigo_vendedor:
            codigo_vendedor_anterior = codigo_vendedor
            local_obj = Local.objects.get(codigo__iexact=codigo_vendedor)

        # Aporte de @F Delgado, create es mas rapido
        Negocio.objects.create(fecha_actividad=fecha,
                    plataforma = col['Plataforma'],
                    tecnologia = col['Tecnologia'],
                    terminal = col['Tipo Equipo'],
                    cantidad = col['Actividad'],
                    plan_key = produccion_plan_obj,
                    local_key = local_obj  
        )

Además agregamos el Negocio.objects.create como dijo F Delgado que es más performante que instanciar el objeto y guardarlo (evitamos la carga en memoria).

Espero haber sido de ayuda!

Saludos!

Al parecer la gran parte de la carga se la lleva las consultar a la base de datos que realizas en cada inserción. Una solución podría ser ordenar todo el dataframe por fecha, código de plan y código de vendedor, entonces vas obteniendo las entidades de ProduccionPlan y Local solo cuando estas cambian:

def Carga(dataframe):
    dataframe = dataframe.sort_values(['Fecha', 'Codigo Plan', 'Codigo Vendedor'], ascending=[False])  # Ordeno por Fecha, Codigo Plan y Codigo Vendedor
    fecha_anterior = codigo_plan_anterior = codigo_vendedor_anterior = produccion_plan_obj = local = None
    for row,col in dataframe.iterrows():
        # Me fijo si la fecha o codigo de plan cambio
        fecha = col["Fecha"]
        codigo_plan = col['Codigo Plan']
        if fecha != fecha_anterior or codigo_plan_anterior != codigo_plan:
            fecha_anterior = fecha
            codigo_plan_anterior = codigo_plan
            produccion_plan_obj = ProduccionPlan.objects.get(fecha_produccion__year=fecha.year, fecha_produccion__month=fecha.month,plan__codigo_plan__iexact=codigo_plan)

        # Me fijo si el codigo de vendedor cambia
        codigo_vendedor = col['Codigo Vendedor']
        if codigo_vendedor_anterior != codigo_vendedor:
            codigo_vendedor_anterior = codigo_vendedor
            local_obj = Local.objects.get(codigo__iexact=codigo_vendedor)

        # Aporte de @F Delgado, create es mas rapido
        Negocio.objects.create(fecha_actividad=fecha,
                    plataforma = col['Plataforma'],
                    tecnologia = col['Tecnologia'],
                    terminal = col['Tipo Equipo'],
                    cantidad = col['Actividad'],
                    plan_key = produccion_plan_obj,
                    local_key = local_obj  
        )

Además agregamos el Negocio.objects.create como dijo F Delgado que es más performante que instanciar el objeto y guardarlo (evitamos la carga en memoria).

Espero haber sido de ayuda!

Saludos!

Update

Pasados varios años desde la respuesta original, me he topado con este tipo de problemas y las sentencias SQL planas me han sacado del apuro. Por el momento es la manera más performante que he encontrado cuando he necesitado insertar millones de tuplas en la base de datos en pocos segundos.

Respuesta original

Al parecer la gran parte de la carga se la lleva las consultar a la base de datos que realizas en cada inserción. Una solución podría ser ordenar todo el dataframe por fecha, código de plan y código de vendedor, entonces vas obteniendo las entidades de ProduccionPlan y Local solo cuando estas cambian:

def Carga(dataframe):
    dataframe = dataframe.sort_values(['Fecha', 'Codigo Plan', 'Codigo Vendedor'], ascending=[False])  # Ordeno por Fecha, Codigo Plan y Codigo Vendedor
    fecha_anterior = codigo_plan_anterior = codigo_vendedor_anterior = produccion_plan_obj = local = None
    for row,col in dataframe.iterrows():
        # Me fijo si la fecha o codigo de plan cambio
        fecha = col["Fecha"]
        codigo_plan = col['Codigo Plan']
        if fecha != fecha_anterior or codigo_plan_anterior != codigo_plan:
            fecha_anterior = fecha
            codigo_plan_anterior = codigo_plan
            produccion_plan_obj = ProduccionPlan.objects.get(fecha_produccion__year=fecha.year, fecha_produccion__month=fecha.month,plan__codigo_plan__iexact=codigo_plan)

        # Me fijo si el codigo de vendedor cambia
        codigo_vendedor = col['Codigo Vendedor']
        if codigo_vendedor_anterior != codigo_vendedor:
            codigo_vendedor_anterior = codigo_vendedor
            local_obj = Local.objects.get(codigo__iexact=codigo_vendedor)

        # Aporte de @F Delgado, create es mas rapido
        Negocio.objects.create(fecha_actividad=fecha,
                    plataforma = col['Plataforma'],
                    tecnologia = col['Tecnologia'],
                    terminal = col['Tipo Equipo'],
                    cantidad = col['Actividad'],
                    plan_key = produccion_plan_obj,
                    local_key = local_obj  
        )

Además agregamos el Negocio.objects.create como dijo F Delgado que es más performante que instanciar el objeto y guardarlo (evitamos la carga en memoria).

Espero haber sido de ayuda!

Saludos!

Origen Enlace
Genarito
  • 2.6k
  • 24
  • 45

Al parecer la gran parte de la carga se la lleva las consultar a la base de datos que realizas en cada inserción. Una solución podría ser ordenar todo el dataframe por fecha, código de plan y código de vendedor, entonces vas obteniendo las entidades de ProduccionPlan y Local solo cuando estas cambian:

def Carga(dataframe):
    dataframe = dataframe.sort_values(['Fecha', 'Codigo Plan', 'Codigo Vendedor'], ascending=[False])  # Ordeno por Fecha, Codigo Plan y Codigo Vendedor
    fecha_anterior = codigo_plan_anterior = codigo_vendedor_anterior = produccion_plan_obj = local = None
    for row,col in dataframe.iterrows():
        # Me fijo si la fecha o codigo de plan cambio
        fecha = col["Fecha"]
        codigo_plan = col['Codigo Plan']
        if fecha != fecha_anterior or codigo_plan_anterior != codigo_plan:
            fecha_anterior = fecha
            codigo_plan_anterior = codigo_plan
            produccion_plan_obj = ProduccionPlan.objects.get(fecha_produccion__year=fecha.year, fecha_produccion__month=fecha.month,plan__codigo_plan__iexact=codigo_plan)

        # Me fijo si el codigo de vendedor cambia
        codigo_vendedor = col['Codigo Vendedor']
        if codigo_vendedor_anterior != codigo_vendedor:
            codigo_vendedor_anterior = codigo_vendedor
            local_obj = Local.objects.get(codigo__iexact=codigo_vendedor)

        # Aporte de @F Delgado, create es mas rapido
        Negocio.objects.create(fecha_actividad=fecha,
                    plataforma = col['Plataforma'],
                    tecnologia = col['Tecnologia'],
                    terminal = col['Tipo Equipo'],
                    cantidad = col['Actividad'],
                    plan_key = produccion_plan_obj,
                    local_key = local_obj  
        )

Además agregamos el Negocio.objects.create como dijo F Delgado que es más performante que instanciar el objeto y guardarlo (evitamos la carga en memoria).

Espero haber sido de ayuda!

Saludos!