3

Tengo una base de datos en MySQL en la que guardo información de domicilios que recorre un dispositivo. En dicha tabla tengo los campos "latitud", "longitud" y "direccion". Y la idea principal es pasar esos registros de MySQL a Mongo, pero quiero evitar las direcciones duplicadas por lo que la nueva estructura para Mongo incluye un arreglo de posiciones en el que pretendo guardar las latitudes y longitudes que tengan la misma dirección. Para ello creé el siguiente código para realizar dicha migración:

var mysql = require('mysql'); 
// var async = require('async');

var con = mysql.createConnection({
    host: "localhost",
    user: "root",
    password: "root",
    port: "8889",
    database: "gts"
});

var MongoClient = require('mongodb').MongoClient, assert = require('assert');
// Connection URL
var url = 'mongodb://localhost:27017/geolocations';

var resultMongo;
var resultLatitudes;

var findLocation = function (db, callback, param) {
    // Find all the latitudes
    var collection = db.collection('geopoints');
    collection.find(param).toArray(function (err, docs) {
        // console.log("\n Location found");
        // console.log(docs);
        callback(docs);
    });
}

var findAddress = function (db, callback, param) {
    var collection = db.collection('geopoints');
    collection.find(param).toArray(function (err, docs) {
        if (err) {
            callback(err);
        } else {
            callback(null, docs);
            console.log("\n Address found");
            // console.log(docs);
            callback(docs)
        }
    });
}

var insertDocument = function (db, callback, param) {
    var collection = db.collection('geopoints');
    collection.insertOne(param, function (err, r) {
        assert.equal(null, err);
        assert.equal(1, r.insertedCount); 
        console.log("New document inserted");
        // console.log(r);
        callback(r);
    });
}

var addLocation = function (db, callback, id, locations) {
    var collection = db.collection('geopoints');
    collection.findOneAndUpdate(id,{ 
        $push: {locations}
    });
}

// Use connect method to connect to the server
MongoClient.connect(url, function(err, db) {
    assert.equal(null, err);
    //console.log("Connected successfully to server");
    
    // Query the SQL table 
    con.connect(function(err) {
        if (err) 
            throw err;
        con.query("SELECT DISTINCT `latitude`, `longitude`, `address` FROM `eventdata` ORDER BY `eventdata`.`address`  ASC LIMIT 4", function (err, result, fields) {
            if (err) 
                throw err;
            console.log("\n SQL found");
            
            for (let index = 0; index < result.length; index++) {
                const elementSQL = result[index];
                const addressSQL = elementSQL.address.trim();
                const latitudeSQL = elementSQL.latitude.toFixed(6);
                const longitudeSQL = elementSQL.longitude.toFixed(6);

                console.log(addressSQL);
                console.log(latitudeSQL);
                console.log(longitudeSQL);
                // Find the SQL address in Mongo
                findAddress(db, function(err, docs){
                    // console.log("Log de address");
                    // console.log(docs.length);
                    if (err) {
                        console.log(err);
                        return;
                    }
                    if (docs.length > 0){
                        console.log("Encuentra direcciones iguales: " + addressSQL + " -- " + docs[0].address );
                        // Check if the positions exist
                        let currentID = docs[0]._id.toString();
                        console.log(currentID);
                        findLocation(db, function (docs) {
                            if(docs.length > 0){
                                console.log("Locaciones existentes");
                            } else {
                                console.log("Agregar locaciones");
                                addLocation(db, function (docs) {
                                    console.log('Acaba de agregar locaciones.');
                                }, {
                                    _id: currentID
                                }, {
                                    latitude: latitudeSQL,
                                    longitude: longitudeSQL
                                });
                            }
                        }, {
                            locations: {
                                        latitude: latitudeSQL,
                                        longitude: longitudeSQL
                                    }
                        });
                    } else {
                        console.log("Las direcciones no coinciden");
                        // Inserta nueva dirección
                        insertDocument(db, function(r){
                            console.log("Insertar");
                            //console.log(r);
                        }, {
                            address : addressSQL,
                            locations : [
                                    {
                                        latitude : latitudeSQL,
                                        longitude : longitudeSQL
                                    }
                                ]

                        })
                    }
                }, {
                    address: addressSQL
                });
            }
        });
    });
});

El problema que tengo es que una vez que el ciclo for está recorriendo los resultados de la consulta a MySQL el código de las consultas a mongo se ejecuta hasta que se acaba el ciclo, por lo que no sé como es que pueda hacer para que la función no deje que el ciclo continúe sin antes hacer todas las operaciones con la base de datos. Estuve leyendo que puede ser con async y await, pero he intentado implementarlo sin éxito alguno.

Ejemplo de sección usando la librería async

async.waterfall([
    function(callback) {
        // Query the SQL database
        con.query("SELECT DISTINCT `latitude`, `longitude`, `address` FROM `eventdata` ORDER BY `eventdata`.`address`  ASC LIMIT 2", function (err, result, fields) {
            if (err) {
                callback('Error al consultar MySQL', null);
            } else {
                console.log("\n SQL found");
                console.log(result);
                callback(null, result);
            }
        });
    },
    function(result, callback) {
        async.each(result, function (row, callback) {
            console.log('Muestra una única fila');
            console.log(row.address);

            findAddress(db, function (err, docs) {
                if (err) {
                    console.log(err);
                } else {
                    console.log('Las direcciones coinciden');
                }
            }, {
                address: row.address
            });
        }, function (err) {
            if(err){
                console.log('Problemas al consultar');
                callback('Problemas al consultar')
            } else {
                callback();
            }
        });
        // Find and compare directions in Mongo and MySQL

        console.log('Wachea callback');
        console.log(result);
        callback(null, 'Todo correcto');

        // do some more stuff ...
    }
],
// optional callback
function(err, results) {
    if( err ){
        throw "Error al consultar Mongo";
    } else {
        console.log(results);
        console.log('\n');
    }
    // results is now equal to ['one', 'two']
});

Me podrían ayudar a decirme que estoy haciendo mal?

1 respuesta 1

2

Hola @Carlos Rodriguez,

No se si pudiste encontrar la solución, no obstante, te adjunto una posible solución, "es posible" porque no la he podido comprobar porque no tengo DB SQL y los datos pero creo que te funcionará ya que lo he comprobado en un entorno parecido y me funcionaba, aunque la consulta estaba mas enfocada en la asincrónica que en las consultas a la base de datos.

Sobre el código, he utilizado Promise para las funciones aisladas y Async/await para hacer del código asíncrono en asíncrono:

var mysql = require('mysql'),
    MongoClient = require('mongodb').MongoClient,
    url = 'mongodb://localhost:27017/geolocations'

var con = mysql.createConnection({
    host: "localhost",
    user: "root",
    password: "root",
    port: "8889",
    database: "gts"
})

//Buscamosla direccion en la DB
var findAddress = function (collection, addressSQL) {
    return new Promise(function (resolve, reject) {
        collection.findOne({ address: addressSQL }, function (err, doc) {
            if (err) {
                reject(err)
            } else {
                resolve(doc)
            }
        })
    })
}

//Insertamos la direccion en la DB
var insertDocument = function (collection, doc) {
    return new Promise(function (resolve, reject) {
        collection.insertOne(doc, function (err, doc) {
            if (err)
                reject(err)
            resolve(doc)
        })
    })
}

//Actualizamos los datos en la DB ($addToSet aggrega si solo si no existe en el Array)
var addLocation = function (collection, id, locations) {
    return new Promise(function (resolve, reject) {
        collection.findOneAndUpdate(id, { $addToSet: locations }, function (err, doc) {
            if (err)
                reject(err)
            resolve(doc)
        })
    })
}

//Nos conectamos a MongoDB
MongoClient.connect(url, async function (err, db) {
    assert.equal(null, err)

    let collection = db.collection('geopoints')

    await con.connect(function (err) {
        if (err)
            throw err

        con.query("SELECT DISTINCT `latitude`, `longitude`, `address` FROM `eventdata` ORDER BY `eventdata`.`address`  ASC LIMIT 4",
            function (err, result, fields) {
                if (err)
                    throw err

                //Recorremos los resultados e utilizamos async/await para hacer síncrono el codigo
                result.array.forEach(async function (elementSQL) {
                    const addressSQL = elementSQL.address.trim()
                    const latitudeSQL = elementSQL.latitude.toFixed(6)
                    const longitudeSQL = elementSQL.longitude.toFixed(6)

                    // Find the SQL address in Mongo
                    await findAddress(collection, addressSQL)
                        .then(function (doc) {

                            let newDoc = {
                                address: addressSQL,
                                locations: [{ latitude: latitudeSQL, longitude: longitudeSQL }]
                            }

                            if (!doc) {
                                return insertDocument(collection, newDoc) //retorna una Promise
                            } else {
                                return addLocation(collection, doc, newDoc.locations[0]) //retorna una Promise
                            }
                        })
                        .then(function (doc) { console.log(doc) })
                        .catch(function (err) { console.log(err) })
                })
            })
    })
})

Como recomendación, mírate de usar Mongoose para realizar las consultas, ayuda y puedes convertir todas las consultas a la DB en Promise por lo que te facilitara mucho para hora de realizar las consultas, ademas de muchas mas funcionalidades que el driver de MongoDB no tiene aun.

Si puedes probarlo y confírmame te lo agradecería.

Saludos

1
  • Muchísimas gracias por la respuesta, de antemano una disculpa por la demora pero tuve que resolver el problema de otra forma y ya no revisé que había pasado con mi pregunta, pero por lo que veo tu solución es la correcta. Gracias por la respuesta tan completa @planta4 Commented el 21 abr. 2019 a las 5:46

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.