2

Tengo que subir un archivo CSV con 13000 registros a un base de datos mongodb en nodejs. Traté de ejecutar un petición post por cada registro para poder mostrar el avance general, pero se bloquea el frontend.

handleUploadRecords = async () => {
    const endpoint = `${this.props.apiUrl}/api/dbcsv/addUA`
    const {dataLoaded, dataStatus} = this.state 

    dataLoaded.forEach(async u => {
        let res = await axios.post(endpoint, {
            user: u
        })
        console.log(res)
    })
}

Lo puedo hacer subiendo todo el archivo al servidor y ejecutando el proceso internamente, pero no se como mostrar un porcentaje de avance en el frontend con react. ¿Cual es la mejor forma de hacer esto?

1
  • 2
    Debes hacer una sola petición usando multipart/form-data para subir el fichero y utilizar la configuración onUploadProgress para obtener el progreso de la operación. En el server ya depende de que módulos estás usando para recibir el fichero y luego almacenarlo en mongodb.
    – devconcept
    el 31 oct. 2019 a las 13:13

2 respuestas 2

0

Yo solucioné esto mismo haciendo POST de forma recursiva de 100 en 100 registros. En el router que va recibiendo los registros, puedes usar la sentencia InsertMany de MongoDB para insertarlos todos de una vez.

Previamente a enviar las peticiones a la API, yo rellené un array donde cada posición corresponde a un registro completo del CSV que estés manipulando, en el ejemplo sería "miArray".

El código del backend sería algo como esto:

var arrayAux = [];
if (miArray.length > 0) {

    for(var i = 0; i < miArray.length; i++) {

         arrayAux.push(miArray[i]);

         if (arrayAux.length == 100 || i == miArray.length - 1) {
              //Es aquí donde hago el método POST, enviándo al endpoint de tu API el array con los 100 registros
         }

    }
}

Por último, el router que captura las llamadas al endpoint de tu API debería ser algo parecido a esto:

var db = mongoose.connection; //Con esto manipulas la conexión a mongoDB directamente, pudiendo usar funciones nativas de mongoDB

router.route('/endpointDeTuAPI').post(, function (req, res) {
    var arrayAux = []; //Aquí iremos añadiendo los registros que vienen en el cuerpo de cada petición POST
    var aux ;
    for(var i = 0; i < req.body.length; i++){

        arrayAux.push(req.body[i]);
    }

    db.collection("nombreDeTuColección").insertMany(arrayAux, function(err){

        if(err) return res.status(500).send(`Error al insertar campos en la BD: ${err}`);

        return res.status(200).send("Documentos insertados correctamente en la DB.");
});

Con esto que te he comentado se divide el nº de peticiones entre 100. A mi me funcionó, espero que os sirva, si bien no exactamente, al menos la idea que he querido transmitir. En caso de que quieras hacer pruebas, puedes probar a enviar más registros en una misma petición, cuantos más envíes de una vez, menos peticiones necesitarás.

0
-2

Opcion 1:

Define:

N := numero de registros totales

M := numero de request permitidos

P := numero de registros por request

y enviá los registros por paquetes de P = N/M.

Opción 2.

Enviá el archivo al servidor, desde el servidor guarda a la base de datos y usa un socket para notificar el progreso al cliente.

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.