0

Tengo un servidor t2.medium en AWS aprovisionado con 3 discos duros que funcionan a diferentes velocidades para almacenar y procesar los datos. El disco en donde se almacenan los datos tiene un IOPS de 1200 y una capacidad de 200gb.

Por otro lado tengo la siguiente consulta para contabilizar contabilizar algunos datos dentro de un arreglo en los documentos de la colección. Esta colección puede tener millones de datos los cuales actualmente no están cargados. Tan solo tiene alrededor de 3 millones.

db.suf.aggregate([
   {$match:{healthEntityCode:'ESS076'}},
   {$unwind: "$activities"},
   {$group: {_id:null,count:{$sum:1}}}
])

El primer stage (match) itera sobre alrededor de 500.000 registros. El segundo stage (unwind) amplia la cantidad de registros significativamente hasta 5 veces la la cantidad de documentos. No he podido contabilizar el tiempo total que requiere esta operación ya que mi paciencia se agota a las 3 horas.

Mi pregunta es: Para hacer este tipo de conteos, ésta es la mejor estrategia?? Estoy pensando seriamente en implementar una infraestructura de fragmentación y escalar el proyecto de forma horizontal. Haciendo esto.. Mejoraría el proceso?

1
  • ¿tienes creados índices? si los tienes, ¿cuáles son?
    – jachguate
    Commented el 26 ago. 2016 a las 1:24

1 respuesta 1

1

En principio, si tienes un índice sobre "healthEntityCode" debería de ir bien. Escalar horizontalmente te servirá solo para el primer paso, pero los datos se juntan para el unwind y a partir de ese punto es manejado solo en el mongos que esté resolviendo tu request, por lo que si el conflicto es que el primer match, incluso indexado se tarda, puede servir, pero primero revisa el índice.

1
  • Efectivamente la cantidad de datos es demasiado grande para manejarla mediante el motor de aggregation. La solución fue implementar una arquitectura de crecimiento horizontal y las consultas se hacen en lo posible usando las llaves de fragmentación. Luego el procesamiento se realiza casi de forma manual usando un loop sobre el cursor de respuesta. Commented el 7 ene. 2017 a las 2:00

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.