Tengo un servidor t2.medium en AWS aprovisionado con 3 discos duros que funcionan a diferentes velocidades para almacenar y procesar los datos. El disco en donde se almacenan los datos tiene un IOPS de 1200 y una capacidad de 200gb.
Por otro lado tengo la siguiente consulta para contabilizar contabilizar algunos datos dentro de un arreglo en los documentos de la colección. Esta colección puede tener millones de datos los cuales actualmente no están cargados. Tan solo tiene alrededor de 3 millones.
db.suf.aggregate([
{$match:{healthEntityCode:'ESS076'}},
{$unwind: "$activities"},
{$group: {_id:null,count:{$sum:1}}}
])
El primer stage (match) itera sobre alrededor de 500.000 registros. El segundo stage (unwind) amplia la cantidad de registros significativamente hasta 5 veces la la cantidad de documentos. No he podido contabilizar el tiempo total que requiere esta operación ya que mi paciencia se agota a las 3 horas.
Mi pregunta es: Para hacer este tipo de conteos, ésta es la mejor estrategia?? Estoy pensando seriamente en implementar una infraestructura de fragmentación y escalar el proyecto de forma horizontal. Haciendo esto.. Mejoraría el proceso?