1

He construido una consulta para relacionar dos tipos de archivos presentes en la misma colección, sensorsData, de una BD Mongo:

1) Archivos de emisiones:

{
  "idSensor": 3,
  "idDevice": 55,
  "dateTime": 
  {
    "instant": "2020-07-24T10:00:40Z",
    "offset": "+02:00"
  },
  "data": 
  {
    "inicio": "2020-07-24T12:00:40+02:00",
    "fin": "2020-07-24T12:00:52+02:00",
    "archivo": " EKT_captaREVOLUTION_VERT_1_corto.mp4",
    "tipo": "video"
  }
}

2) Archivos de reacciones (de los usuarios ante las emisiones):

{
  "idSensor": 2,
  "idDevice": 48,
  "dateTime": 
  {
    "instant": "2020-06-09T14:01:58.521Z",
    "offset": "+02:00"
  },
  "data": 
  {
    "BeginTime": "2020-06-09T16:01:58.521891+02:00",
    "CountingLines": 
    [{
      "Direction": "EnteredLeaving",
      "LineID": 0
    }],
    "FaceInfo": 
    {
      "Age": 32.03,
      "Emotion": "SURPRISE",
      "IsDetected": true,
      "MaleProbability": 0.91,
      "gazeTime": 0.36,
      "numGazes": 4
    },
    "ImageSize": 
    {
      "Height": 1080,
      "Width": 1920
    },
    "LookingDuration": 1,
    "PersonID": 102340,
    "ReIDInfo": {"NumReIDs": 1},
    "RoiInfo": {"RoiDuration": 10.909090909090908},
    "SensorID": 51,
    "SocialDistance": [],
    "TrackingDuration": 11.64,
    "Trajectory": null,
    "direction": null,
    "id": 1,
    "roiName": 1,
    "roiType": 1
  }
}

El objetivo de la consulta es determinar el solapamiento temporal entre ambos tipos de archivos, para saber qué usuarios han visto qué emisiones y durante cuánto tiempo. El problema original está detallado en este enlace:

MongoDB: Determinar solapamiento temporal entre dos tipos de archivo

Bien, ya dispongo de una consulta que debería solucionarme la papeleta:

var pipeline = 
[
    {
        "$match": //Deja pasar sólo los archivos de emisiones y de reacciones
        {
            "idSensor": {"$in": [2,3]}
        }
    },
    {
        "$lookup": //Une cada documento con los demás -incluyendo consigo mismo-, que agrupa en un array con tantas posiciones como documentos
        {
            "from": "sensorsData",
            "localField": "idDevice",
            "foreignField": "idDevice",
            "as": "array"
        }
    },
    {
        "$unwind": "$array" //Descompone los archivos en función de las posiciones del array
    },
    {
        "$match": //Deja pasar sólo aquellos archivos con estructura emisión-reacción y elimina las demás combinaciones: emisión-emisión, reacción-reacción y reacción-emisión (redundantes)
        {
            "$and": 
            [
                {"data.inicio": {"$exists": true}}, 
                {"array.data.BeginTime": {"$exists": true}}
            ]
        }
    },
    {
        "$addFields": //Creación de los parámetros temporales
        {
            "dtBroadcastStart": {"$toDate": "$data.inicio"},
            "dtBroadcastEnd": {"$toDate": "$data.fin"},
            "dtTrackingStart": {"$toDate": "$array.data.BeginTime"},
            "dtTrackingEnd": {"$add": [{"$toDate": "$array.data.BeginTime"}, {"$multiply": ["$array.data.TrackingDuration", 1000]}]}
        }
    },
    {
        "$match": //Filtrado de los documentos que cumplen las condiciones de solapamiento temporal
        {
            "$expr":
            {
                "$and": 
                [
                    {"$lt": ["$dtBroadcastStart", "$dtTrackingEnd"]},
                    {"$gt": ["$dtBroadcastEnd", "$dtTrackingStart"]}
                ]
            }
        }
    },
    {
        "$project": //Selección final de parámetros
        {
            "_id": 0,
            "idDevice": "$idDevice",
            "naBroadcast": "$data.archivo",
            "naType": "$data.tipo",
            "dtBroadcastStart": 1,
            "dtBroadcastEnd": 1,
            "qtBroadcastDurationS": {"$divide": [{"$subtract": [{"$toDate": "$dtBroadcastEnd"}, {"$toDate": "$dtBroadcastStart"}]}, 1000]},
            "naWeekday": 
            {
                "$switch": 
                {
                    "branches": 
                    [
                        {"case": {"$eq": [{"$dayOfWeek": {"$toDate": "$data.inicio"}}, 1]}, "then": "Domingo"},
                        {"case": {"$eq": [{"$dayOfWeek": {"$toDate": "$data.inicio"}}, 2]}, "then": "Lunes"},
                        {"case": {"$eq": [{"$dayOfWeek": {"$toDate": "$data.inicio"}}, 3]}, "then": "Martes"},
                        {"case": {"$eq": [{"$dayOfWeek": {"$toDate": "$data.inicio"}}, 4]}, "then": "Miércoles"},
                        {"case": {"$eq": [{"$dayOfWeek": {"$toDate": "$data.inicio"}}, 5]}, "then": "Jueves"},
                        {"case": {"$eq": [{"$dayOfWeek": {"$toDate": "$data.inicio"}}, 6]}, "then": "Viernes"},
                        {"case": {"$eq": [{"$dayOfWeek": {"$toDate": "$data.inicio"}}, 7]}, "then": "Sábado"}
                    ],
                    "default": "Fecha incorrecta"
                }
            },
            "naMonth":
            {
                "$switch": 
                {
                    "branches": 
                    [
                        {"case": {"$eq": [{"$substr": ["$data.inicio", 5, 2]}, "01"]}, "then": "Enero"},
                        {"case": {"$eq": [{"$substr": ["$data.inicio", 5, 2]}, "02"]}, "then": "Febrero"},
                        {"case": {"$eq": [{"$substr": ["$data.inicio", 5, 2]}, "03"]}, "then": "Marzo"},
                        {"case": {"$eq": [{"$substr": ["$data.inicio", 5, 2]}, "04"]}, "then": "Abril"},
                        {"case": {"$eq": [{"$substr": ["$data.inicio", 5, 2]}, "05"]}, "then": "Mayo"},
                        {"case": {"$eq": [{"$substr": ["$data.inicio", 5, 2]}, "06"]}, "then": "Junio"},
                        {"case": {"$eq": [{"$substr": ["$data.inicio", 5, 2]}, "07"]}, "then": "Julio"},
                        {"case": {"$eq": [{"$substr": ["$data.inicio", 5, 2]}, "08"]}, "then": "Agosto"},
                        {"case": {"$eq": [{"$substr": ["$data.inicio", 5, 2]}, "09"]}, "then": "Septiembre"},
                        {"case": {"$eq": [{"$substr": ["$data.inicio", 5, 2]}, "10"]}, "then": "Octubre"},
                        {"case": {"$eq": [{"$substr": ["$data.inicio", 5, 2]}, "11"]}, "then": "Noviembre"},
                        {"case": {"$eq": [{"$substr": ["$data.inicio", 5, 2]}, "12"]}, "then": "Diciembre"}
                    ],
                    "default": "Fecha incorrecta"
                }
            },
            "idPerson": "$array.data.PersonID",
            "dtTrackingStart": 1,
            "dtTrackingEnd": 1,
            "qtFaceDetected": 
            {
                "$cond": 
                {
                    "if": {"$eq": ["$array.data.FaceInfo.IsDetected", true]}, 
                    "then": 1, 
                    "else": 0
                }
            },
            "qtMaleProbability": "$array.data.FaceInfo.MaleProbability",
            "qtAge": "$array.data.FaceInfo.Age",
            "naEmotion": "$array.data.FaceInfo.Emotion",
            "qtGaze": "$array.data.FaceInfo.numGazes",
            "qtGazeDurationS": "$array.data.FaceInfo.gazeTime",
            "qtFaceDurationS": "$array.data.LookingDuration",
            "qtTrackingDurationS": "$array.data.TrackingDuration",
            "qtReId": "$array.data.ReIDInfo.NumReIDs"
        }
    }
]

db.sensorsData.aggregate(pipeline)

Pero una de las fases $match -precisamente, la que calcula el solapamiento temporal- hace que su procesado -el número de documentos es bastante alto- se eternice:

{
    "$match": //Filtrado de los documentos que cumplen las condiciones de solapamiento temporal
    {
        "$expr":
        {
            "$and": 
            [
                {"$lt": ["$dtBroadcastStart", "$dtTrackingEnd"]},
                {"$gt": ["$dtBroadcastEnd", "$dtTrackingStart"]}
            ]
        }
    }
},

Sin esta fase, NoSQL Booster tarda unos 2 segundos en devolver resultados; pero con ella, no termina nunca. El asunto es que esta fase es crucial, porque permite eliminar un montón de resultados intermedios que no tienen utilidad para mí.

Intuyo que ese $lookup inicial en el que cada archivo se combina con todos los demás pueda ser demasiado, pero lo cierto es que la consulta funciona sin problema mientras no incluya el segundo $match.

En fin, cualquier sugerencia acerca de cómo reestructurar la consulta para que la BD no se cuelgue será bienvenida.

Gracias por adelantado.

2
  • 1
    El problema es que esa etapa match la calculas usando atributos creados durante el proceso de agregación, por lo tanto se debe recorrer toda la colección en memoria para evaluar los documentos, es por ello la tardanza. Sin saber lo que puedes o no puedes hacer, se me ocurre que vuelques los resultados obtenidos, justo hasta antes de dicha etapa, en una colección temporal, crees los índices adecuados sobre dichos campos y retomes el proceso de agregación a partir de ese punto sobre la colección temporal. Toma en cuenta el impacto sobre la DB al momento de crear los índices. Saludos Commented el 27 ago. 2020 a las 6:46
  • Gracias, Mauricio. El objetivo es alimentar una aplicación BI con esta consulta. Puedo consultarle al DBA acerca de lo que me comentas, pero quizá sea más sencillo volcar todos los datos -sin el segundo $match- en mi aplicación BI y una vez allí aplicar un filtro equivalente. Commented el 27 ago. 2020 a las 8:57

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.