0

Estoy desarrollando una AppWeb con Django y Mongo (usando Djongo como ORM).

Resulta que tengo el siguiente escenario, poseo los siguientes modelos:


class TextContainer(models.Model):
    """ Container of many texts """
    name = models.TextField()
    texts = models.ArrayReferenceField(to=Text, on_delete=models.DO_NOTHING)

class Text(models.Model):
    """ Model for text documents in a collection. """
    text = models.TextField()
    vector = NumpyArrayField(editable=False)  # auto-populated custom-field, length typically 300, ndarray of float64 transformed to bytes 

En el caso hipotetico, de tener un TextContainer con 10,000 textos, ocurre el siguiente caso:

tc = TextContainer.objects.all()[0]  # tomo el textContainer con 10,000 textos

# recuperacion por ORM; toma mucho tiempo, retorna instancias de Text (modelo)
# toma > 100 segundos
texts = list(tc.texts.all())  # suele fallar por timeout

# Recuperación de bajo nivel mediante queries de Mongo; muy rapido, retorna modelos como diccionarios
# toma ~ 2 segundos
text_ids = TextContainer.objects.mongo_find(filter={'id': tc.id})[0]['text_ids']
texts = Text.objects.mongo_find(filter={'id': {'$in': text_ids}})

Ahora ocurre que (obviamente) programé gran parte de la logica asumiendo que la interacción con los objetos Text se haría por medio de una instancia del modelo Text; con su managers, funciones auxiliares, etc. Pero resulta que la recuperación por medio del ORM de Djongo toma tiempo realmente alto.

La alternativa que es usar queries de mongo me retorna diccionarios con todos los datos de una instancia de Text, es decir, toda la información necesaria para instanciar un objeto Text, pero que, sin embargo, no es un objeto de Python por lo que no existe forma de que pueda adecuar el codigo para leer diccionarios y objetos de manera transparente.

Ahora, mi duda es, dado que tengo 10,000 diccionarios que contienen la inforamcion de los textos que quiero instancias, existe forma de poder transformarlos a instancias de modelo Text?

He intentado hacer retrieval de estos 10,000 objetos mediante .get y .filter pero vuelve a tomar demasiado tiempo. Tal vez pensaba alguna forma de instanciar este modelo en runtime a partir de los datos de cada uno, sin tener que usar queries a la base de datos.

Por ejemplo, uno de estos diccionarios se ve

OrderedDict([('_id', ObjectId('5d927078d4db347ad7c47f6f')), ('id', 1), ('text', 'Cuénteme…'), ('vector', b'\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'))

Que prácticamente son los datos de la instancia serializados en la base de datos mongo, por lo tanto, teóricamente debería tener la información suficiente para instanciar un objeto completamente capaz.

Como una ultima reflexión que he tenido, pienso que el cuello de botella puede recaer en la de-serializacion de la low-level query al momento de instanciar los objetos de python, por parte del ORM de Django. ORM el cual debe hacer una low-level query para posteriormente llevar cada field a su forma pythonic llamando metodo to_python de cada model.field. En particular, mi teoría es que podría ser que la de-serializacion de los vectores codificados como un string binario lo que puede estar tomando gran parte del tiempo al llamar a .all() (versus la consulta de bajo nivel). Sin embargo, es una hipotesis que manejo, no la he podido comprobar ni negar.

2
  • Me perdí un poco, pero básicamente entiendo que quieres instanciar objetos Text desde unos diccionarios? ¿Qué estuctura tienen esos diccionarios? ¿Podrías mostrar uno?
    – abulafia
    el 2 oct. 2019 a las 17:23
  • Si perfecto, estos diccionarios son de hecho documentos actuales de la base de datos Mongo, es decir poseen todos los atributos necesarios para instancias un objeto Text, por ejemplo, lo agregue a la pregunta.
    – Vichoko
    el 2 oct. 2019 a las 18:33

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.