2

Estoy trabajando con una colección que incluye dos tipos de documentos de diferente estructura:

Unos con información sobre vídeos proyectados por pantalla:

{
    "_id": {"$oid": "5e870200adbe1d000183fa4d"},
    "data": 
    {
        "inicio": "2020-03-30 10:20:29",
        "fin": "2020-03-30 10:20:32",
        "archivo": "salvamento4.mp4",
        "tipo": "video"
    },
    "idSensor": 3,
    "idDevice": 5
}

Otros con información sobre la reacción de los usuarios a lo que se proyecta:

{
    "_id": {"$oid": "5e86fe50adbe1d0001472c0f"},
    "data": 
    {
        "Trackings":
        [{
            "BeginTime": "2020-03-30T08:23:42.034893+00:00",
            "FaceInfo":
            {
                "Age": 26.34,
                "Emotion": "NEUTRAL",
                "IsDetected": true,
                "MaleProbability": 0.71,
                "gazeTime": 2.37,
                "numGazes": 71
            },
            "ImageSize": 
            {
                "Height": 1080,
                "Width": 1920
            },
            "LookingDuration": 2.37,
            "PersonID": "P-2020-03-30_2749",
            "ReIDInfo": {"NumReIDs": 1},
            "RoiInfo": {"RoiDuration": 0.17},
            "SensorID": 0,
            "TrackingDuration": 2.77,
            "Trajectory": null,
            "direction": null,
            "id": 1,
            "roiName": 0,
            "roiType": 1
        }],
        "timestamp": "2020-03-30T08:23:52.327678"
    },
    "idSensor": 2,
    "idDevice": 5
}

De momento he creado dos consultas sencillas -las primeras que hago en Mongo- mediante el aggregation framework para extraer la información por separado y ver en mi BI qué pinta tiene; por un lado qué vídeos se proyectan, cuantas veces cada uno, en qué momentos, y por otro cuánta gente los ha visto, durante cuánto tiempo se quedan mirando la pantalla, con qué expresión facial, etc.

Bien, ahora me gustaría cruzar los datos para intentar determinar quién ha visto cada vídeo y poder cuantificar si unos tienen más impacto que otros en los usuarios.

Dejando a un lado los diferentes formatos temporales de los documentos, que es algo que espero se unifique en un futuro no muy lejano, mi idea es, por cada idDevice, determinar los solapamientos entre los tiempos de proyección de cada vídeo (delimitados por data.inicio y data.fin) y los de visualización de cada usuario (delimitados por data.Trackings.BeginTime y data.Trackings.TrackingDuration, que habría que sumar al primero para obtener el límite superior) para saber cuántas personas han visto cada proyección y cuánto de cada proyección -aunque una misma persona podría ver varias proyecciones, no son de muy larga duración-.

Por ejemplo, si se proyecta un vídeo que es visto por tres personas -lo vean o no completo, vean ése solo o vean más vídeos antes y/o después-, que relacione ese vídeo -o mejor dicho, la proyección en ese momento de ese vídeo, porque el número de vídeos distintos proyectados es pequeño- con esas tres personas -o mejor dicho, con las visualizaciones que han hecho esas tres personas en ese momento de ese vídeo, porque pueden ser usuarios recurrentes en diferentes horas o días-, de manera que en formato tabla quedase algo como:

idDispositivo idProyeccion dtInicioProy dtFinProy idVisualizacion dtInicioVis dtFinVis
1             1            10:00        10:03     1               09:58       10:02
1             1            10:00        10:03     2               10:01       10:07
1             1            10:00        10:03     3               10:01       10:02

La tabla sería más compleja, incluiría otras columnas para relacionar la proyección con el nombre del vídeo y la visualización con la persona, la edad estimada, su expresión facial, etc., pero estos campos son los esenciales; e incluso en mi BI podría crear columnas adicionales para determinar que % del vídeo ha visto cada persona, por ejemplo. Espero que se entienda lo que pretendo lograr. La aplicación BI que utilizo crea datasets con el mismo formato tabular independientemente del origen de datos (Mongo, SQL, CSV, etc.).

No voy a mentir: no sé ni por donde empezar; las consultas que he hecho son muy sencillas, con $match y $project, y $unwind en el caso de las visualizaciones para descomponer data.Trackings. No sé si sería posible y/o necesario utilizar $lookup para relacionar ambos tipos de documentos -o algún otro método que permita hacer uniones-, porque por lo que he leído es aplicable a diferentes colecciones, y en mi caso se trata de la misma.

En fin, cualquier sugerencia sobre por dónde empezar será más que bienvenida.

EDICIÓN:

Incluyo una muestra de 8 archivos, 5 correspondientes a visualizaciones y 3 correspondientes a emisiones:

[
{"_id":{"$oid":"5e86fe50adbe1d0001472c0f"},"data":{"Trackings":[{"BeginTime":"2020-03-30T10:20:28.034893+00:00","FaceInfo":{"Age":26.34,"Emotion":"NEUTRAL","IsDetected":true,"MaleProbability":0.71,"gazeTime":2.37,"numGazes":71},"ImageSize":{"Height":1080,"Width":1920},"LookingDuration":2.37,"PersonID":"P-2020-03-30_2749","ReIDInfo":{"NumReIDs":1},"RoiInfo":{"RoiDuration":0.17},"SensorID":0,"TrackingDuration":2.77,"Trajectory":null,"direction":null,"id":1,"roiName":0,"roiType":1}],"timestamp":"2020-03-30T08:23:52.327678"},"idSensor":2,"idDevice":5}
,{"_id":{"$oid":"5e86fe93adbe1d0001472c10"},"data":{"Trackings":[{"BeginTime":"2020-03-30T10:20:19.843470+00:00","FaceInfo":{"Age":26.04,"Emotion":"NEUTRAL","IsDetected":true,"MaleProbability":1,"gazeTime":4.1,"numGazes":123},"ImageSize":{"Height":1080,"Width":1920},"LookingDuration":4.1,"PersonID":"P-2020-03-30_2754","ReIDInfo":{"NumReIDs":1},"RoiInfo":{"RoiDuration":5},"SensorID":0,"TrackingDuration":4.97,"Trajectory":null,"direction":null,"id":1,"roiName":0,"roiType":1}],"timestamp":"2020-03-30T08:29:53.731042"},"idSensor":2,"idDevice":5}
,{"_id":{"$oid":"5e86feb7adbe1d0001472c11"},"data":{"Trackings":[{"BeginTime":"2020-03-30T10:20:35.329768+00:00","FaceInfo":{"Age":null,"Emotion":null,"IsDetected":false,"MaleProbability":null,"gazeTime":0,"numGazes":0},"ImageSize":{"Height":1080,"Width":1920},"LookingDuration":0,"PersonID":"P-2020-03-30_2763","ReIDInfo":{"NumReIDs":1},"RoiInfo":{"RoiDuration":1.43},"SensorID":0,"TrackingDuration":1.4,"Trajectory":null,"direction":null,"id":1,"roiName":0,"roiType":1}],"timestamp":"2020-03-30T08:31:29.528652"},"idSensor":2,"idDevice":5}
,{"_id":{"$oid":"5e86feceadbe1d0001472c12"},"data":{"Trackings":[{"BeginTime":"2020-03-30T10:20:23.658545+00:00","FaceInfo":{"Age":26.82,"Emotion":"NEUTRAL","IsDetected":true,"MaleProbability":1,"gazeTime":0.9,"numGazes":27},"ImageSize":{"Height":1080,"Width":1920},"LookingDuration":0.9,"PersonID":"P-2020-03-30_2766","ReIDInfo":{"NumReIDs":1},"RoiInfo":{"RoiDuration":0.2},"SensorID":0,"TrackingDuration":3.37,"Trajectory":null,"direction":null,"id":1,"roiName":0,"roiType":1}],"timestamp":"2020-03-30T08:32:45.731280"},"idSensor":2,"idDevice":5}
,{"_id":{"$oid":"5e86fef4adbe1d0001472c13"},"data":{"Trackings":[{"BeginTime":"2020-03-30T10:20:19.458345+00:00","FaceInfo":{"Age":28.38,"Emotion":"NEUTRAL","IsDetected":true,"MaleProbability":1,"gazeTime":1.23,"numGazes":37},"ImageSize":{"Height":1080,"Width":1920},"LookingDuration":1.23,"PersonID":"P-2020-03-30_2776","ReIDInfo":{"NumReIDs":1},"RoiInfo":{"RoiDuration":0.17},"SensorID":0,"TrackingDuration":1.27,"Trajectory":null,"direction":null,"id":1,"roiName":0,"roiType":1}],"timestamp":"2020-03-30T08:34:24.242392"},"idSensor":2,"idDevice":5}
,{"_id":{"$oid":"5e87018dadbe1d000183fa4b"},"data":{"inicio":"2020-03-30 10:20:20","fin":"2020-03-30 10:20:21","archivo":"salvamento5.mp4","tipo":"video"},"idSensor":3,"idDevice":5}
,{"_id":{"$oid":"5e8701baadbe1d000183fa4c"},"data":{"inicio":"2020-03-30 10:20:21","fin":"2020-03-30 10:20:29","archivo":"video2.mp4","tipo":"video"},"idSensor":3,"idDevice":5}
,{"_id":{"$oid":"5e870200adbe1d000183fa4d"},"data":{"inicio":"2020-03-30 10:20:29","fin":"2020-03-30 10:20:32","archivo":"salvamento4.mp4","tipo":"video"},"idSensor":3,"idDevice":5}
]

EDICIÓN 2:

Si no me equivoco, se ha de discriminar de manera que dtInicioVis no sea mayor o igual que dtFinProy o dtFinVis menor o igual que dtInicioProy:

! data.Trackings.BeginTime >= data.fin
! (data.Trackings.BeginTime + data.Trackings.TrackingDuration) =< data.inicio

Y si no se da ninguna de estas dos posibilidades, entonces ha de relacionar el documento de proyecciones con el de visualizaciones.

12
  • 2
    Hace falta que indiques o muestres un ejemplo de la salida deseada, a partir de los datos aportados. Entiendo que una imagen es muy directa, pero intenta subir el código en formato texto. Dar una explicación de lo que llamas solapamientos. Tengo una idea de cómo podría hacerse una consulta de ese estilo (usando agregación sin duda), pero sin saber el objetivo final con claridad es un poco difícil. Saludos Commented el 24 jun. 2020 a las 13:51
  • Gracias, Mauricio. He modificado el mensaje para añadir los ejemplos de cada tipo de archivo en formato JSON y he detallado algo más lo que espero obtener. Si no es suficiente no tengo problema en dar más detalles o intentar explicarlo mejor. Commented el 24 jun. 2020 a las 17:10
  • 1
    Hola, es posible que pongas una muestra de estos datos como BSON o JSON para importarlos a mongodb y hacer pruebas?
    – Legna
    Commented el 30 jun. 2020 a las 17:15
  • 1
    Posiblemente lo que necesites es lookup para relacionar los datos.
    – Legna
    Commented el 30 jun. 2020 a las 17:16
  • 1
    ok. Si es posible, tendras una muestra mas aleatoria de los datos? Por lo que planteas nuestro pivote para ordenar los datos debe ser idDevice. Si no es posible enseguida te publico mis resultados.
    – Legna
    Commented el 30 jun. 2020 a las 18:15

2 respuestas 2

2

Finalmente he conseguido hacer la consulta; supongo que dista bastante de ser la óptima -hay un $match como último paso-, pero me devuelve los resultados que espero -para ocho documentos, claro; a ver cómo funciona con la colección de producción-:

var pipeline = 
[
    {
        "$lookup": /*Une cada documento con los demás -incluyendo consigo mismo-, que agrupa en un array con tantas posiciones como documentos (8, de 0 a 7, en la colección de muestra)*/
        {
            "from": "data",
            "localField": "idDevice",
            "foreignField": "idDevice",
            "as": "array1"
        }
    },
    {
        "$unwind": "$array1" /*Descompone los archivos en función de las posiciones del array, por lo que genera 8 x 8 = 64 archivos*/
    },
    {
        "$match": {"$and": [{"data.inicio": {"$exists": true}}, {"array1.data.timestamp": {"$exists": true}}]} /*Deja pasar sólo aquellos archivos con estructura vídeo-reacción y elimina las demás combinaciones: vídeo-vídeo, reacción-reacción y reacción-vídeo (redundantes); dado que hay 3 vídeos y 5 reacciones, pasan 15 archivos*/
    },
    {
        "$project": /*Selección inicial de parámetros*/
        {
            "_id": 0,
            "idDevice": "$idDevice",
            "naBroadcast": "$data.archivo",
            "naType": "$data.tipo",
            "dtBroadcastStart": {"$toDate": "$data.inicio"},
            "dtBroadcastEnd": {"$toDate": "$data.fin"},
            "array2": "$array1.data.Trackings"
        }
    },
    {
        "$unwind": "$array2" /*Descomposición en función de las posiciones del array; como en los documentos de muestra no existe más que el índice 0, genera de nuevo 15 archivos*/
    },
    {
        "$project": /*Proyección final de parámetros*/
        {
            "idDevice": 1,
            "naBroadcast": 1,
            "naType": 1,
            "dtBroadcastStart": 1,
            "dtBroadcastEnd": 1,
            "qtBroadcastDurationS": {"$divide": [{"$subtract": [{"$toDate": "$dtBroadcastEnd"}, {"$toDate": "$dtBroadcastStart"}]}, 1000]},
            "idPerson": "$array2.PersonID",
            "dtTrackingStart": {"$toDate": "$array2.BeginTime"},
            "dtTrackingEnd": {"$add": [{"$toDate": "$array2.BeginTime"}, {"$multiply": ["$array2.TrackingDuration", 1000]}]},
            "qtFaceDetected": 
            {
                "$cond": 
                {
                    "if": {"$eq": ["$array2.FaceInfo.IsDetected", true]}, 
                    "then": 1, 
                    "else": 0
                }
            },
            "qtMaleProbability": "$array2.FaceInfo.MaleProbability",
            "qtAge": "$array2.FaceInfo.Age",
            "naEmotion": "$array2.FaceInfo.Emotion",
            "qtGaze": "$array2.FaceInfo.numGazes",
            "qtGazeDurationS": "$array2.FaceInfo.gazeTime",
            "qtFaceDurationS": "$array2.LookingDuration",
            "qtTrackingDurationS": "$array2.TrackingDuration",
            "qtReId": "$array2.ReIDInfo.NumReIDs"
        }
    },
    {
        "$match": /*Filtrado de los documentos que cumplen las condiciones de solapamiento, que para la colección de muestra son sólo 6 de los 15 que devuelve el 1er $match*/
        {
            "$expr":
            {
                "$and": 
                [
                    {"$lt": ["$dtBroadcastStart", "$dtTrackingEnd"]},
                    {"$gt": ["$dtBroadcastEnd", "$dtTrackingStart"]}
                ]
            }
        }
    }
]

db.data.aggregate(pipeline)
1

EDITANDOSE

Puedes agrupar tus datos conforme al idDevice:

[
{$match: {
  "dummy": {$exists:false}
}}, {$group: {
  _id: {
    device:"$idDevice"
  },
  datos: {
    $push: "$data"
  }
}}
]

Esto te permitirá agrupar los datos correspondientes.

Elimine el idDevice porque al parecer no es necesario.


Recomendaciones:

El stage {$match: { "dummy": {$exists:false} }} puede ocasionar falta de memoria al procesarse. Su objetivo es traer todos los resultados de la base de datos. Es recomendable sustituirlo por un filtro que limite los resultados.

8
  • Gracias, Legna, Mañana la pruebo; lo que no veo a priori es cómo esta consulta sería capaz de determinar qué emisiones y qué visualizaciones se solapan temporalmente. Commented el 30 jun. 2020 a las 18:59
  • Para eso necesito de tu ayuda. Quisiera entender un poco mejor que te refieres con solapar los datos. Si entiendo bien, creo que solo bastaría ordenar el arreglo datos por la fecha de inicio.
    – Legna
    Commented el 30 jun. 2020 a las 19:03
  • Por ejemplo, simplificando, si un vídeo se emitió de las 10:00 a las 10:02, que relacione ese documento de emisión con todos los documentos de visualización que se solapan temporalmente con él (es decir, gente que miró la pantalla en algún momento entre las 10:00 y las 10:02). Es decir, la consulta devolvería tantos resultados como intersecciones entre documentos de tipo emisión y tipo visualización. Commented el 30 jun. 2020 a las 19:17
  • Supongo que esto es lo complicado, porque ya no habría que unir sólo por idDevice sino por tiempos, y los formatos son diferentes entre ambos tipos de documentos. Las emisiones tienen una hora de inicio y otra de fin, pero las visualizaciones tienen una de inicio y luego un periodo de duración en segundos. Commented el 30 jun. 2020 a las 19:22
  • 1
    Pues no creo que sea tan dificil. Solo que primero hay que acomodar los datos como los necesitamos. Puedes usar por favor los nombres de las variables como estan? Es poco dificil seguirte el concepto cuando no se ha estado inmiscuido en el proyecto. Me refiero a cuando nombres tiempo digas datos.inicio, por ejemplo. Asi te entenderé mejor la idea.
    – Legna
    Commented el 30 jun. 2020 a las 19:24

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.