1

Tengo un ResultSet el cual trae mas de 100 mil datos en total para ser insertados, el problema es que mi método inserta valor por valor en el query ya que hay campos que van vacíos, el método esta de la siguiente manera, solo es una porción:

try
        {
            rs.beforeFirst();
            stmt = cnn.createStatement();
            while(rs.next())
            {
               documentID = rs.getInt(1);
               folio = rs.getString(5);
               ficha = rs.getString(6);
               nombre = rs.getString(7);
               tipoArchivo = "PDF";
               created = rs.getString(9);
               created = created.substring(0, 19);
               createdBy = rs.getString(10);
               modified = rs.getString(11);
               modified = modified.substring(0, 19);
               modifiedBy = rs.getString(12);
               String Qry = "INSERT INTO wfattxdoc(document_id, folio, ficha, nombre, document_created_date, document_createdby, document_modified_date, document_modifiedby)" +
                       " VALUES (" + documentID + ", " + "'" + folio + "'" + ", " + "'" + ficha + "'" + ", " + "'" + nombre + "'" + ", " +
                       "'" + created + "'" + ", " + "'" + createdBy + "'" + ", " +
                       "'" + modified + "'" + ", " + "'" + modifiedBy + "'" + ");";
               stmt.executeUpdate(Qry);
            }
            stmt.close();
        }

Esto causa que vaya muy lento, y se tarde hasta mas de 6 horas (no miento) en realizar todo el proceso. Mi duda es ¿Existe otra manera mas eficaz de insertar miles de registros de una forma mas rápida? No me sale ningún error, el único problema es la lentitud.

2 respuestas 2

6

Deberías usar un PreparedStatement y ejecutar las sentencias en lotes. Para esto, existen los métodos addBatch y executeBatch (heredado de Statement). Esto permite enviar un lote de sentencias a la base de datos en lugar de mandar las sentencias de 1 en 1. Esta forma de trabajo aplica a cualquier motor de base de datos con driver JDBC compatible, no solo a MySQL.

Tu código luciría así:

//esto decláralo fuera del método
private static final int REGISTROS_BATCH = 1000;

//dentro de tu método
String sql = "INSERT INTO wfattxdoc(document_id, folio, ficha, nombre, document_created_date, document_createdby, document_modified_date, document_modifiedby) VALUES (?, ?, ?, ?, ?, ?, ?, ?)";
try {
    rs.beforeFirst();
    try (PreparedStatement pstmt = cnn.prepareStatement(sql)) {
        int counter = 0;
        while(rs.next()) {
            documentID = rs.getInt(1);
            folio = rs.getString(5);
            ficha = rs.getString(6);
            nombre = rs.getString(7);
            tipoArchivo = "PDF";
            created = rs.getString(9);
            created = created.substring(0, 19);
            createdBy = rs.getString(10);
            modified = rs.getString(11);
            modified = modified.substring(0, 19);
            modifiedBy = rs.getString(12);

            pstmt.setInt(1, document_id);
            pstmt.setString(2, folio);
            pstmt.setString(3, ficha);
            pstmt.setString(4, nombre);
            //sería mejor usar java.sql.Timestamp en lugar de String
            pstmt.setString(5, created);
            pstmt.setString(6, createdBy);
            pstmt.setString(7, modified);
            pstmt.setString(8, modifiedBy);
            //agregamos la sentencia al lote
            pstmt.addBatch();
            //aumentamos el contados de lote
            counter++;
            //al tener 1000 o más sentencias, mandamos todas a ejecutar
            //y reiniciamos el contador
            if (counter == REGISTROS_BATCH) {
                pstmt.executeBatch();
                counter = 0;
            }
        }
        //revisamos si todavía hay sentencias pendientes de ejecutar
        if (counter > 0) {
            pstmt.executeBatch();
        }
    }
} (catch SQLException e) {
    //maneja tus excepciones...
}

En MySQL, para mejorar aún más el rendimiento de estas sentencias, puedes agregar los parámetros useServerPrepStmts y rewriteBatchedStatements al momento de abrir la conexión1. Por ejemplo, tu cadena de conexión puede lucir así:

jdbc:mysql://<servidor>:<puerto>/<nombre bd>?useServerPrepStmts=false&rewriteBatchedStatements=true

1 Adaptado de JDBC batch insert performance

9
  • Justo encontre el mismo ejemplo en ingles stackoverflow.com/questions/36943967/java-sql-1-million-rows, borre mi respuesta ya que esta es mucho mejor. Ahora como duda cual es la diferencia entre mandar 1 a 1, 10 a 10, 100 a 100, 1000 a 1000?
    – sioesi
    Commented el 18 nov. 2016 a las 16:44
  • Excelente respuesta. Commented el 18 nov. 2016 a las 17:00
  • Ojalá hubiera sabido esto hace unos meses, estuve un día entero insertando
    – Pavlo B.
    Commented el 18 nov. 2016 a las 17:30
  • 1
    @sioesi esto medirá cuántas sentencias se enviarán en el lote. El tamaño puede ayudar en la velocidad y el riesgo que puedes tener al mandar las sentencias. Ahora, tener más sentencias en la memoria del batch significa que va a consumir más memoria de lado de la aplicación. Si tu aplicación no tiene suficiente memoria para esto, es mejor usar un número reducido, pero esto significa que se harán más llamadas a la bd => más tiempo de latencia de red.
    – user227
    Commented el 18 nov. 2016 a las 17:38
  • Gracias @LuiggiMendoza por la aclaración esa era mi duda, cargar la base de datos o cargar la aplicación cual de las dos es mas importante! Saludos
    – sioesi
    Commented el 18 nov. 2016 a las 17:43
0

De por si el traspaso de datos vía SQL es lento dado que se ejecutan de manera secuencial y los INSERT de por si son caros dado que la tabla requiere estar ordenada por algun campo y mantener sus indices actualizados, por lo que por cada INSERT se debe hacer una busqueda binaria sobre los records para saber donde colocarlo, además se deben actualizar los indices en cada query.

En primer lugar, si no te importa que las consultas sobre la BD sean rápidas elimina todos los indices que puedan tener, elimina sus triggers y restricciones (A conciencia); esto acelerará los INSERT.

A priori, el cuello de botella debe estar en el envío de la query y la espera de respuesta.

A primera vista tu codigo se ve correcto, aunque para descartar otras cosas que puedan estar alentando el proceso te recomiendo hacerlo en dos pasos.

  1. Parseas el Set de datos y generas un archivo SQL con todas las instrucciones.
  2. Ejecutas el archivo con todas las lineas de SQL correspondientes directamente sobre la base de datos.

Esto te mostrará donde está el cuello de botella. Espero haberte ayudado.

1
  • Si vas a optar por esta opción, en lugar de crear un archivo SQL con las sentencias, lo mejor sería crear un archivo CSV y usar LOAD DATA INFILE que performa muchísimo más rápido que esta estrategia y que la que expongo en mi respuesta. Pero, puede que el motor de MySQL no esté configurado para soportar esta opción. por defecto viene deshabilitada, tienes que detener el servidor, agregar el parámetro en my.ini y reiniciarlo. De ser posible, quizás optaría por este camino.
    – user227
    Commented el 18 nov. 2016 a las 16:52

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.