Estoy trabajando con una colección que incluye dos tipos de documentos de diferente estructura:
Unos con información sobre vídeos proyectados por pantalla:
{
"_id": {"$oid": "5e870200adbe1d000183fa4d"},
"data":
{
"inicio": "2020-03-30 10:20:29",
"fin": "2020-03-30 10:20:32",
"archivo": "salvamento4.mp4",
"tipo": "video"
},
"idSensor": 3,
"idDevice": 5
}
Otros con información sobre la reacción de los usuarios a lo que se proyecta:
{
"_id": {"$oid": "5e86fe50adbe1d0001472c0f"},
"data":
{
"Trackings":
[{
"BeginTime": "2020-03-30T08:23:42.034893+00:00",
"FaceInfo":
{
"Age": 26.34,
"Emotion": "NEUTRAL",
"IsDetected": true,
"MaleProbability": 0.71,
"gazeTime": 2.37,
"numGazes": 71
},
"ImageSize":
{
"Height": 1080,
"Width": 1920
},
"LookingDuration": 2.37,
"PersonID": "P-2020-03-30_2749",
"ReIDInfo": {"NumReIDs": 1},
"RoiInfo": {"RoiDuration": 0.17},
"SensorID": 0,
"TrackingDuration": 2.77,
"Trajectory": null,
"direction": null,
"id": 1,
"roiName": 0,
"roiType": 1
}],
"timestamp": "2020-03-30T08:23:52.327678"
},
"idSensor": 2,
"idDevice": 5
}
De momento he creado dos consultas sencillas -las primeras que hago en Mongo- mediante el aggregation framework para extraer la información por separado y ver en mi BI qué pinta tiene; por un lado qué vídeos se proyectan, cuantas veces cada uno, en qué momentos, y por otro cuánta gente los ha visto, durante cuánto tiempo se quedan mirando la pantalla, con qué expresión facial, etc.
Bien, ahora me gustaría cruzar los datos para intentar determinar quién ha visto cada vídeo y poder cuantificar si unos tienen más impacto que otros en los usuarios.
Dejando a un lado los diferentes formatos temporales de los documentos, que es algo que espero se unifique en un futuro no muy lejano, mi idea es, por cada idDevice
, determinar los solapamientos entre los tiempos de proyección de cada vídeo (delimitados por data.inicio
y data.fin
) y los de visualización de cada usuario (delimitados por data.Trackings.BeginTime
y data.Trackings.TrackingDuration
, que habría que sumar al primero para obtener el límite superior) para saber cuántas personas han visto cada proyección y cuánto de cada proyección -aunque una misma persona podría ver varias proyecciones, no son de muy larga duración-.
Por ejemplo, si se proyecta un vídeo que es visto por tres personas -lo vean o no completo, vean ése solo o vean más vídeos antes y/o después-, que relacione ese vídeo -o mejor dicho, la proyección en ese momento de ese vídeo, porque el número de vídeos distintos proyectados es pequeño- con esas tres personas -o mejor dicho, con las visualizaciones que han hecho esas tres personas en ese momento de ese vídeo, porque pueden ser usuarios recurrentes en diferentes horas o días-, de manera que en formato tabla quedase algo como:
idDispositivo idProyeccion dtInicioProy dtFinProy idVisualizacion dtInicioVis dtFinVis
1 1 10:00 10:03 1 09:58 10:02
1 1 10:00 10:03 2 10:01 10:07
1 1 10:00 10:03 3 10:01 10:02
La tabla sería más compleja, incluiría otras columnas para relacionar la proyección con el nombre del vídeo y la visualización con la persona, la edad estimada, su expresión facial, etc., pero estos campos son los esenciales; e incluso en mi BI podría crear columnas adicionales para determinar que % del vídeo ha visto cada persona, por ejemplo. Espero que se entienda lo que pretendo lograr. La aplicación BI que utilizo crea datasets con el mismo formato tabular independientemente del origen de datos (Mongo, SQL, CSV, etc.).
No voy a mentir: no sé ni por donde empezar; las consultas que he hecho son muy sencillas, con $match
y $project
, y $unwind
en el caso de las visualizaciones para descomponer data.Trackings
. No sé si sería posible y/o necesario utilizar $lookup
para relacionar ambos tipos de documentos -o algún otro método que permita hacer uniones-, porque por lo que he leído es aplicable a diferentes colecciones, y en mi caso se trata de la misma.
En fin, cualquier sugerencia sobre por dónde empezar será más que bienvenida.
EDICIÓN:
Incluyo una muestra de 8 archivos, 5 correspondientes a visualizaciones y 3 correspondientes a emisiones:
[
{"_id":{"$oid":"5e86fe50adbe1d0001472c0f"},"data":{"Trackings":[{"BeginTime":"2020-03-30T10:20:28.034893+00:00","FaceInfo":{"Age":26.34,"Emotion":"NEUTRAL","IsDetected":true,"MaleProbability":0.71,"gazeTime":2.37,"numGazes":71},"ImageSize":{"Height":1080,"Width":1920},"LookingDuration":2.37,"PersonID":"P-2020-03-30_2749","ReIDInfo":{"NumReIDs":1},"RoiInfo":{"RoiDuration":0.17},"SensorID":0,"TrackingDuration":2.77,"Trajectory":null,"direction":null,"id":1,"roiName":0,"roiType":1}],"timestamp":"2020-03-30T08:23:52.327678"},"idSensor":2,"idDevice":5}
,{"_id":{"$oid":"5e86fe93adbe1d0001472c10"},"data":{"Trackings":[{"BeginTime":"2020-03-30T10:20:19.843470+00:00","FaceInfo":{"Age":26.04,"Emotion":"NEUTRAL","IsDetected":true,"MaleProbability":1,"gazeTime":4.1,"numGazes":123},"ImageSize":{"Height":1080,"Width":1920},"LookingDuration":4.1,"PersonID":"P-2020-03-30_2754","ReIDInfo":{"NumReIDs":1},"RoiInfo":{"RoiDuration":5},"SensorID":0,"TrackingDuration":4.97,"Trajectory":null,"direction":null,"id":1,"roiName":0,"roiType":1}],"timestamp":"2020-03-30T08:29:53.731042"},"idSensor":2,"idDevice":5}
,{"_id":{"$oid":"5e86feb7adbe1d0001472c11"},"data":{"Trackings":[{"BeginTime":"2020-03-30T10:20:35.329768+00:00","FaceInfo":{"Age":null,"Emotion":null,"IsDetected":false,"MaleProbability":null,"gazeTime":0,"numGazes":0},"ImageSize":{"Height":1080,"Width":1920},"LookingDuration":0,"PersonID":"P-2020-03-30_2763","ReIDInfo":{"NumReIDs":1},"RoiInfo":{"RoiDuration":1.43},"SensorID":0,"TrackingDuration":1.4,"Trajectory":null,"direction":null,"id":1,"roiName":0,"roiType":1}],"timestamp":"2020-03-30T08:31:29.528652"},"idSensor":2,"idDevice":5}
,{"_id":{"$oid":"5e86feceadbe1d0001472c12"},"data":{"Trackings":[{"BeginTime":"2020-03-30T10:20:23.658545+00:00","FaceInfo":{"Age":26.82,"Emotion":"NEUTRAL","IsDetected":true,"MaleProbability":1,"gazeTime":0.9,"numGazes":27},"ImageSize":{"Height":1080,"Width":1920},"LookingDuration":0.9,"PersonID":"P-2020-03-30_2766","ReIDInfo":{"NumReIDs":1},"RoiInfo":{"RoiDuration":0.2},"SensorID":0,"TrackingDuration":3.37,"Trajectory":null,"direction":null,"id":1,"roiName":0,"roiType":1}],"timestamp":"2020-03-30T08:32:45.731280"},"idSensor":2,"idDevice":5}
,{"_id":{"$oid":"5e86fef4adbe1d0001472c13"},"data":{"Trackings":[{"BeginTime":"2020-03-30T10:20:19.458345+00:00","FaceInfo":{"Age":28.38,"Emotion":"NEUTRAL","IsDetected":true,"MaleProbability":1,"gazeTime":1.23,"numGazes":37},"ImageSize":{"Height":1080,"Width":1920},"LookingDuration":1.23,"PersonID":"P-2020-03-30_2776","ReIDInfo":{"NumReIDs":1},"RoiInfo":{"RoiDuration":0.17},"SensorID":0,"TrackingDuration":1.27,"Trajectory":null,"direction":null,"id":1,"roiName":0,"roiType":1}],"timestamp":"2020-03-30T08:34:24.242392"},"idSensor":2,"idDevice":5}
,{"_id":{"$oid":"5e87018dadbe1d000183fa4b"},"data":{"inicio":"2020-03-30 10:20:20","fin":"2020-03-30 10:20:21","archivo":"salvamento5.mp4","tipo":"video"},"idSensor":3,"idDevice":5}
,{"_id":{"$oid":"5e8701baadbe1d000183fa4c"},"data":{"inicio":"2020-03-30 10:20:21","fin":"2020-03-30 10:20:29","archivo":"video2.mp4","tipo":"video"},"idSensor":3,"idDevice":5}
,{"_id":{"$oid":"5e870200adbe1d000183fa4d"},"data":{"inicio":"2020-03-30 10:20:29","fin":"2020-03-30 10:20:32","archivo":"salvamento4.mp4","tipo":"video"},"idSensor":3,"idDevice":5}
]
EDICIÓN 2:
Si no me equivoco, se ha de discriminar de manera que dtInicioVis
no sea mayor o igual que dtFinProy
o dtFinVis
menor o igual que dtInicioProy
:
! data.Trackings.BeginTime >= data.fin
! (data.Trackings.BeginTime + data.Trackings.TrackingDuration) =< data.inicio
Y si no se da ninguna de estas dos posibilidades, entonces ha de relacionar el documento de proyecciones con el de visualizaciones.
lookup
para relacionar los datos.idDevice
. Si no es posible enseguida te publico mis resultados.