Update
Pasados varios años desde la respuesta original, me he topado con este tipo de problemas y las sentencias SQL planas me han sacado del apuro. Por el momento es la manera más performante que he encontrado cuando he necesitado insertar millones de tuplas en la base de datos en pocos segundos.
Respuesta original
Al parecer la gran parte de la carga se la lleva las consultar a la base de datos que realizas en cada inserción. Una solución podría ser ordenar todo el dataframe por fecha, código de plan y código de vendedor, entonces vas obteniendo las entidades de ProduccionPlan
y Local
solo cuando estas cambian:
def Carga(dataframe):
dataframe = dataframe.sort_values(['Fecha', 'Codigo Plan', 'Codigo Vendedor'], ascending=[False]) # Ordeno por Fecha, Codigo Plan y Codigo Vendedor
fecha_anterior = codigo_plan_anterior = codigo_vendedor_anterior = produccion_plan_obj = local = None
for row,col in dataframe.iterrows():
# Me fijo si la fecha o codigo de plan cambio
fecha = col["Fecha"]
codigo_plan = col['Codigo Plan']
if fecha != fecha_anterior or codigo_plan_anterior != codigo_plan:
fecha_anterior = fecha
codigo_plan_anterior = codigo_plan
produccion_plan_obj = ProduccionPlan.objects.get(fecha_produccion__year=fecha.year, fecha_produccion__month=fecha.month,plan__codigo_plan__iexact=codigo_plan)
# Me fijo si el codigo de vendedor cambia
codigo_vendedor = col['Codigo Vendedor']
if codigo_vendedor_anterior != codigo_vendedor:
codigo_vendedor_anterior = codigo_vendedor
local_obj = Local.objects.get(codigo__iexact=codigo_vendedor)
# Aporte de @F Delgado, create es mas rapido
Negocio.objects.create(fecha_actividad=fecha,
plataforma = col['Plataforma'],
tecnologia = col['Tecnologia'],
terminal = col['Tipo Equipo'],
cantidad = col['Actividad'],
plan_key = produccion_plan_obj,
local_key = local_obj
)
Además agregamos el Negocio.objects.create
como dijo F Delgado que es más performante que instanciar el objeto y guardarlo (evitamos la carga en memoria).
Espero haber sido de ayuda!
Saludos!