2

He recibido este código diciéndome que va muy lento, y que el cuello de botella está en la BBDD. He ido directo a la parte del código donde se hacen las inserciones y me he encontrado esto.

public static bool inserts () {

    ...

    foreach (string query in querys) //billion
        {
           insert(query, _stringConnection);
        }

    ...

}

public static long insert(String query, String _stringConnection) {

  OracleCommand oComm = null;
  OracleConnection oConn = new OracleConnection(_stringConnection);
  oConn.Open();

  try {
    
    oComm = new OracleCommand(query, oConn);
    oComm.Transaction = oConn.BeginTransaction();
    oComm.ExecuteNonQuery();
  
  } catch (Exception ex) {
        Console.WriteLine(ex.Message);
  } finally {
        if (oComm != null && oComm.Transaction != null)
            oComm.Transaction.Commit();

         if (oConn != null && oConn.State == System.Data.ConnectionState.Open) {
         oConn.Close();
    }
  }
}

He estado leyendo sobre Connection Pooling y no se si aquí está entrando en juego o es conveniente abrir la conexión antes de del bucle for y luego cerrarla al final

algún consejo?

Un saludo, Gracias

UPDATE 1:

La cadena de conexión se está creando así

public static string CrearCadenaConexion(string sUsuario, string sPassword, int iPuerto, string sInstancia, string sDireccionIp) {
            string sConnectionString;
            sConnectionString = "User id=" + sUsuario +
               ";Password=" + sPassword +
               ";Data Source=//" + sDireccionIp + ":" + iPuerto + "/" + sInstancia;
            return sConnectionString;
        }

Por lo que no está omitiendo el uso de Pooling. Por lo que deduzco de tu respuesta el mayor cuello de botella está en los commits, ya que cachea la conexión. No se si habrá alguna optimización con respecto al pool que pueda servir.

3
  • 1
    En StackOverflow en español utilizamos la lengua de Cervantes para preguntas, respuestas y comentarios. Por favor, publica en español. Un saludo, bienvenido y no olvides hacer el recorrido de bienvenida para ganar tu primera medalla.
    – jachguate
    el 22 abr. 2021 a las 8:46
  • 1
    Tienes razón, me he confundido, gracias :) el 22 abr. 2021 a las 8:53
  • Con respecto de tu edición, mantengo mi respuesta. Tirar del pool de conexiones tomará unos pocos milisegundos (desconozco los detalles de implementación pero supongamos que hará un hash de la cadena de conexión porque tiene las cadenas en diccionarios, además de verificar el tema de las transacciones). Pero esos milisegundos, por billones de registros, pues, suman, así que yo mantendría la referencia a la conexión, que sale gratis.
    – jachguate
    el 22 abr. 2021 a las 17:34

1 respuesta 1

1

Hay varios detalles con el código, de cara al rendimiento del proceso.

  • Si bien es cierto que ADO.NET va a hacer uso del pool para evitar la sobrecarga de establecer y cerrar la conexión cada vez, si son billones de veces las que esta operación se va a ejecutar de manera consecutiva, unos cuantos milisegundos por billones va a resultar en horas que pudieran ahorrarse si se mantiene la referencia a la conexión.

    OJO, que la cadena de conexión puede desactivar el pooling, por ejemplo vía Pooling=no

  • El mayor impacto, según puedo ver, es el ocasionado por el (mal) manejo de las transacciones. Una de las principales optimizaciones de los procesos que cargan información en batch a una base de datos es que hacen commit solo después de un número más o menos significativo de registros (depende del tamaño de los registros, configuración de los logs, capacidades del servidor).

    Lo típico podría ser hacer commit entre cada 5000 a 25000 registros. Lo óptimo lo puedes encontrar ejecutando con varios valores distintos y afinando el valor de manera iterativa.

Me llama la atención que, si ocurre un error, la rutina de inserción registra en el log y se traga el problema... quiero suponer que no importa tanto que unos cuantos registros no lleguen al destino, pero si no es así, es algo a ponerle también atención.

En general, yo haría cambios en la línea de:

  • Mantener una única referencia a la conexión durante todo el proceso
  • Reutilizar una transacción para múltiples inserciones y hacer commit solo después de 5000, 10000, 20000 registros.

En código, algo como:

public static bool inserts (int registrosParaCommit) {
    ...

    int contador = 0;
    using (OracleConnection connection = new OracleConnection(_stringConnection)) {  
        connection.Open();
        OracleTransaction transaction = connection.BeginTransaction();
        foreach (string query in querys) {
           insert(query, connection, transaction);
           if (++contador%registrosParaCommit==0) {
             transaction.Commit();
             transaction = connection.BeginTransaction();
           }
        }
        transaction.Commit();
    }  

    ...
}

public static void insert(String query, OracleConnection oConn, OracleTransaction transaction) {
  try {
    OracleCommand oComm = new OracleCommand(query, oConn);
    oComm.Transaction = transaction;
    oComm.ExecuteNonQuery();
  } catch (Exception ex) {
        Console.WriteLine(ex.Message);
  } 
}

Advertencia: He escrito el código en el navegador, puede tener errores de sintaxis, pero creo que expresa la idea que expliqué antes.

2
  • Edito la pregunta para mostrar como se crea la cadena de conexión el 22 abr. 2021 a las 9:52
  • Aunque la respuesta anterior es correcta, para la inserción masiva de datos (y dependiendo de si viene de otro DataTable o DataReader), es posible que sea más fácil si utilizas el método OracleBulkCopy (docs.oracle.com/cd/E11882_01/win.112/e23174/…) el 22 abr. 2021 a las 10:42

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.