14

Tengo una tabla de enfermedades que tiene solo 3 columnas:

  • El id automático.
  • Un código varchar(10).
  • El nombre string.

Pero, tiene 14197 registros.

El problema es que su llave primaria (Primary Key) es llave foránea para otros modelos, pero está demorando mucho en cargarla.

Uso django y PostgreSql, ¿qué es lo más recomendable para que no se demore tanto la carga de esa Foreign Key en el template?

template

modelos

class Cie10(models.Model):
    codigo = models.CharField(max_length=10)
    nombre = models.TextField()
    def __unicode__(self):
        return (u"%s (%s)"%(self.nombre, self.codigo)).strip() or "-"

class EnfermedadGeneral(Enfermedad):
    dias = models.IntegerField(validators=[no_negativo])
    cie10 = models.ForeignKey(Cie10, verbose_name="diagnóstico Cie10")
    soportes = models.FileField(upload_to=crear_ruta_archivo_enfermedad_general, blank=True, null=True)

class Enfermedad(models.Model):
    persona = models.ForeignKey(Persona, related_name="enfermo")
    responsable = models.ForeignKey(Persona, related_name="responsable")
    municipio = models.ForeignKey(Municipio)
    zona = models.IntegerField(choices=ZONAS)
    sucursal = models.ForeignKey(Sucursal)
    area = models.ForeignKey(Area)
    cargo = models.ForeignKey(Cargo)
    tipo_empleado = models.CharField(max_length=1, choices=TIPO_EMPLEADO)
    fecha_ingreso = models.DateField()
    fecha_diligenciamiento = models.DateTimeField(auto_now_add=True, blank=True)

    fecha = models.DateField(verbose_name="fecha del diagnóstico")

    def __unicode__(self):
        return (u"%s (%s)"%(self.persona, self.fecha)).strip() or "-"

    class Meta:
        unique_together = (("persona", "fecha"),)

Ejemplo de Form

class EnfermedadGeneralForm(forms.ModelForm):
    class Meta: model = EnfermedadGeneral
    exclude = ('responsable', 'persona', 'sucursal', 'area', 'cargo', 'tipo_empleado', 'fecha_ingreso', 'fecha_diligenciamiento',)
    widgets = {
        'fecha' : MyDateWidget(),
        'municipio': Select2Widget(),
        'cie10': Select2Widget(),
        'soportes' : MyFileInput(), } 

Formulario en el template

<form class="form-vertical" enctype="multipart/form-data" method="post">{% csrf_token %}
    {% bootstrap_form form layout="horizontal" %}
    <button class="btn btn-lg btn-primary pull-right" type="submit" onclick="$('#id_dia_semana').attr('disabled', false);">
        Registrar <i class="fa fa-check"></i>
    </button>
</form>

Ejemplo de vista

@login_required
@all_permission_required('novedades.add_enfermedadgeneral')
def crear_enfermedad_general(request, idPersona=None):
    persona = None
    hoy = datetime.now()
    usuario = Persona.objects.get(usuario=request.user)

    enfermedadGeneralCreada = request.session.get('nueva_enfermedad_general')

    if enfermedadGeneralCreada == True:
        del request.session['nueva_enfermedad_general']

    if idPersona:
        try:
            persona = Persona.objects.get(id=idPersona)
        except Exception:
            return redirect('crear_enfermedad_general')


    if request.method == 'POST':
        form = EnfermedadGeneralForm(request.POST, request.FILES)
        if form.is_valid():
            objeto = form.save(commit=False)
            objeto.responsable = Persona.objects.get(usuario=request.user)
            objeto.persona = persona
            objeto.sucursal = persona.sucursal
            objeto.area = persona.cargo.area
            objeto.cargo = persona.cargo
            objeto.tipo_empleado = persona.tipo_empleado
            objeto.fecha_ingreso = persona.fecha_ingreso

            objeto.soportes = None
            objeto.save()

            try:
                objeto.soportes = request.FILES['soportes']
            except Exception:
                1

            objeto.save()

            request.session['nueva_enfermedad_general'] = True
            return redirect('crear_enfermedad_general')

        form2 = CedulaForm(request.POST)
        if form2.is_valid():
            persona = form2.cleaned_data['persona']
            return redirect('crear_enfermedad_general', persona.id)
    else:
        form = EnfermedadGeneralForm()
        try:
            form2 = CedulaForm({'persona': persona.id})
        except Exception:
            form2 = CedulaForm()

    return render(request, 'enfermedad_general.html', {
        'enfermedadGeneralCreada': enfermedadGeneralCreada,
        'persona': persona,
        'form': form,
        'form2': form2,
        'hoy': hoy,
        'usuario': usuario,
    })
8
  • 3
    Diana, muestra tus modelos, tus vistas, queremos saber como haces los queries. Tal vez asi te podemos ayudar. 14,197 registros son un paseo en el parque para PostgreSQL
    – César
    Commented el 15 dic. 2015 a las 23:48
  • 14,000 registros son muy pocos para cualquier base de datos hoy en día, me parece que tu problema está en otro lado, cuantos registros estas presentando al usuario a la vez? Commented el 16 dic. 2015 a las 0:28
  • 1
    @DianaCarolinaHernandez ¡Bienvenida a StackOverflow en español! Por favor, en lugar de poner código en comentarios, edita tu pregunta y pon el código ahí.
    – Barranka
    Commented el 16 dic. 2015 a las 0:40
  • @Barranka editado n. es que apenas me acostumbro Commented el 16 dic. 2015 a las 0:56
  • @CésarBustíos no hago ninguna consulta explícita sólo lo predeterminado de django, me puedes ayudar a corregirlo? Commented el 16 dic. 2015 a las 1:24

3 respuestas 3

6

No estoy 100% seguro porque el widget Select2Widget no lo conozco, pero si es este estás cargando los 14 mil registros en el renderizado.

Quizás deberías cambiar el widget para te tome uno que haga la búsqueda por AJAX después de N caracteres para:

  1. Hacer mas liviano el template
  2. No traer los 14mil registros

Puedes usar esto

1
  • Muchas gracias, yo sospechaba de ese widget pero nunca entendí cómo funcionaba, lo probaré y te respondo. Commented el 16 dic. 2015 a las 2:39
2

Me parece que no es responsabilidad de la aplicacion la eficiencia de la búsqueda, si no de la base de datos.

Lo mas importante para hacer consulta eficientes/poco costosas en una base de datos es tener en cuenta ciertas cosas:

  • Proyección: la cantidad de columnas que retorna tu consulta. Es importante por que cada columna demanda X bytes en cada registro del resultado. En tablas gigantes, esto se puede volver un problema.
  • Filtrado: Debes dejar bien en claro el criterio de selección para devolver la menor cantidad de filas posibles.
  • Pre-compilacion de consulta: Evita que cada vez que realices una consulta, esta tenga que realizar el plan de consulta continuamente ya que es costoso. Esto se debe a que, por lo general, se realizan las mismas consultas sin variaciones.
  • Plan de consulta: Revisar el plan de consulta para evitar métodos inadecuados de selección elegidos por el motor de base de datos y especificar la forma de acceso a los datos que quieres. Esto es primordial ya que en grandes conjuntos de datos, los motores tienden a hacer malas elecciones con respecto a esto.

Y hay otros métodos, de igual importancia, cuando las cosas no se solucionan simplemente.

  • Indexacion: Si no hay indices, el motor de base de datos va a tener la necesidad de buscar en todo el conjunto de registros los resultados deseados. Es importante tener indices para facilitar esa búsqueda como si fuera una guía telefónica. Hay que saber hacer una buena elección entre indices simples y compuestos y entre físicos y lógicos.
  • Estadísticas: Los motores de base de datos mas avanzados tienen un registro(estadísticas) de los indices más accedidos y tiene espacios virtuales especialmente para acceder mas rápidamente a estos.
  • Particiones: Una solución para partir la gran cantidad de registros en partes menores según tus criterios. Se usa mucho para evitar consultar indices grandes o acceder a un conjunto de registros mas acodados por criterio dentro de conjunto principal de registros.

Si tus problemas exceden este tipo de cosas, empieza a tener en cuenta temas como cache en memoria.

1

Para poder determinar si el problema es en la consulta o en otra parte, como parece ser el caso (concretamente, el renderizado del select con 14k entradas), es muy recomendable la extensión Django debug toolbar. Entre otra información útil, te muestra en número de consultas realizadas a la base de datos y el número de milisegundos que le ha llevado ejecutar cada una de ellas.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.