1

Tengo el siguiente problema:

Necesito descargar informacion de una api a diario la cual me devuelve documentos filtrados por fecha Como la actualizacion de esta informacion es constante y a cualquier hora , la llamada a la api la hago todas las mañanas e inserto los resultados en mi bbdd mongodb

Para no estar fijandome exactamente los horarios en los que se actualiza la info muchas veces me vienen datos repetidos

Para lo cual utilizo la funcion upsert , el tema es que se pone bastante lento , en mi base de datos tengo mas o menos 3 millones de documentos y el upsert empieza a demorar ya que tiene que recorrer toda la base

Se me ocurrio entonces crear 2 bases de datos una que tenga datos historicos (desde 2015) y otra que tenga solamente datos de este año De esa forma bajaria muchisimo el tiempo que demora el upsert ya que la cantidad de documentos baja considerablemente

Esta base de datos se encuentra mapeada con powerBI a traves del conectorBI oficial de mongo

Como no quiero dejar la tarea de combinacion de tablas y demas a pbi Mi consulta es : puedo desde mongo generar una base de datos (llamese total) que sea la combinacion de la base de datos historica y la base de datos de 2020 ? y poder conectarme mediante pbi a una sola coleccion de documentos , en vez de traer los dos por separado y cargar esta tarea a pbi que no siempre es lo mas rapido y ensuciaria mucho el modelo???

Tambien se me ocurrio como solucion acotar el rango en el cual el upsert busca en la bbdd , pero no encontre este comando o la forma de hacerlo

Gracias , cualquier consejo es bien recibido , no tengo mucha experiencia con mongodb

Olvide remarcar que los datos pueden cambiar dentro de los ultimos dias , no es que me va a cambiar un dato del 2019 x ejemplo

2
  • Me parece que deberías atacar el problema de raíz: Para no estar fijandome exactamente los horarios en los que se actualiza la info muchas veces me vienen datos repetidos. Mi sugerencia es que te fijes exactamente en los datos para no repetirlos, luego tus búsquedas serán más eficientes, y el volumen de los datos será también más eficiente. Saludos el 11 ago. 2020 a las 17:16
  • Gracias por tu rta , intente hacerlo , pero el problema es que la api con la que trabajo solo permite filtrar por rango de 12 hs (estoy trabajando con la api de mercadolibre , con las preguntas de los usuarios) las preguntas llegan constantemente en cualquier momento y al mismo tiempo se modifican quizas campos de una pregunta que ya ingreso en mi base , por eso para no perder registros , muchas veces combiene traer alguno repetido , pero asegurarse que no se perdio nada en el camino el 11 ago. 2020 a las 17:18

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.