Tengo un proceso de carga en un proyecto Django el cual a partir de un archivo excel almacena informacion en un modelo Negocio. Mi proceso de carga funciona, el problema es que el tiempo de ejecución es demasiado alto debido al volumen de data del insumo excel.
Modelo.py
class Negocio(models.Model):
fecha_carga=models.DateField(auto_now_add=True)
fecha_actividad=models.DateField()
plataforma=models.CharField(max_length=50)
tecnologia=models.CharField(max_length=50)
terminal=models.CharField(max_length=50)
cantidad=models.FloatField()
plan_key=models.ForeignKey(Produccion,on_delete=models.CASCADE,null=True)
local_key=models.ForeignKey(Local,on_delete=models.CASCADE,null=True)
def __str__(self):
return self.plataforma
Views.py
def Carga(dataframe):
for row,col in dataframe.iterrows():
fecha=col["Fecha"]
Negocio(fecha_actividad=fecha,
plataforma = col['Plataforma'],
tecnologia = col['Tecnologia'],
terminal = col['Tipo Equipo'],
cantidad = col['Actividad'],
plan_key = ProduccionPlan.objects.get(fecha_produccion__year=fecha.year, fecha_produccion__month=fecha.month,plan__codigo_plan__iexact=col['Codigo Plan']),
local_key = Local.objects.get(codigo__iexact=col['Codigo Vendedor'])
).save()
Esto es lo que en su momento se me ocurrió para almacenar la información, funciona pero no es lo mas óptimo ya que el tiempo de carga oscila entre los 40 y 45 minutos para archivos excel de 80.000 filas aproximadamente.
Estoy intentando utilizar las expresiones F() pero hasta los momentos no he tenido éxito
Para leer el insumo excel estoy utilizando pandas y mi BD esta en SQL Server.
Alguna ayuda o idea?
plan_key
ylocal_key
, estás haciendo una llamada al banco de dados a cada insercion, que tal crear una lista con todas las opciones de cada uno y buscar en la lista?Negocio.objects.create()
que crea directamente el objeto en la base de datos y no ocupa memoria en el servidor. Así ya no te es necesario usar elsave()