2

buen día compañeros

tengo un código que se encarga de procesar un archivo .txt e insertarlo en una base de datos de SQL; todo esto en java usando netbeans

mi código es el siguiente:

 String line = null;
 int exito=0;
 int numeroBatch=0;
 int counter = 0;
 DateFormat dateFormat = new SimpleDateFormat("yyyy_MM_dd");
 Date date = new Date();
 Calendar c = Calendar.getInstance(); 
 c.setTime(date); 
 c.add(Calendar.DATE, -3);
 date = c.getTime();
 String fechaBuscar=dateFormat.format(date);

 BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(new FileInputStream("Tmp\\unzip\\"+tempRead+".txt"),"iso-8859-1"));
Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver");
                                cadenaConexion="jdbc:sqlserver://localhost\\MSSQLSERVER;databaseName=test";
                                usuarioDB="test";
                                passDB="testing123";
                    Connection con=DriverManager.getConnection(cadenaConexion,usuarioDB,passDB);   
                    Statement stmt=con.createStatement(); 

                    boolean empiezaArchivo=false;

                    while((line = bufferedReader.readLine()) != null) {

                        counter++;
                        if(counter >= 4&&!"EOF".equals(line)&&empiezaArchivo!=false)
                        {
                          String lineaParsea=line;
                          String[] data = lineaParsea.split("\\|");
                          System.out.println("generando registro "+(counter-3)+" de archivo "+(tempRead+1)+" para base de datos...");

                          try
                            {
                             con=DriverManager.getConnection(cadenaConexion,usuarioDB,passDB);


                                String query="insert into datos (dato,fecha_bajada) values('"+data[0]+"','"+fechaBuscar+"')"; 


                                stmt.addBatch(query);
                                if(numeroBatch==2000)
                                {
                                    stmt.executeBatch();
                                    numeroBatch=0;

                                    stmt=con.createStatement();
                                }
                                numeroBatch++;

                                exito= 1;
                            }
                            catch(Exception ex)
                            {
                                Logger.getLogger(BajarArchivosYProcesa.class.getName()).log(Level.SEVERE, null, ex);
                                exito= 0;

                            } 


                          if(exito==0)
                          {
                              break;
                          }
                        }
                        else if("EOF".equals(line))
                        {


                            System.out.println("Se termino de procesar el registro del archivo "+(tempRead+1));
                            stmt.executeBatch();
                                    numeroBatch=0;

                                    stmt=con.createStatement();
                            break;
                        }
                        else
                        {
                            //nada... con las primeras lineas no hacemos nada.. 
                            String inicio="DATOQUENECESITO|OTRO|OTRO2";
                            if(line.toLowerCase().contains(inicio.toLowerCase()))
                            {
                                empiezaArchivo=true;
                            }
                        }
                    }

Como verán el archivo txt lo tengo que pasear para obtener solo el dato que quiero (el registro viene asi DATOQUENECESITO|OTRO|OTRO2 y yo solo tomo el primer dato)y luego uso un batch de 2000 registros para procesar los insert.

El código como tal me sirve; pero el problema es que tarda muchísimo, el archivo txt tiene mas 15 millones de registros, y proceso un total de 5 archivos txt; por cada archivo se tarda mas menos un día.

¿existe una forma mejor de poder procesar el txt y hacer los insert en la base de datos SQL?

Gracias por su apoyo

4
  • Podrías prepararte un StringBuilder con todos los valores a insertar conforme lees el archivo, y luego ejecutar una sola consulta SQL en vez de ejecutar una consulta por línea de archivo, que es lo que seguramente ralentice la ejecución
    – Shirkam
    Commented el 23 ene. 2018 a las 16:56
  • dices hacer un solo query de insert into con todos los registros, no existe algun riesgo por el hecho de que son 15 millones? o igual lo secciono en insert into de 2000 values o algo asi? Commented el 23 ene. 2018 a las 17:00
  • Si, digo en vez de hacer 2000 insert como haces ahora, hacer un insert con 2000 valores. De todas formas, en llegar a casa hago una prueba de cuanto puedo tardar en leer un fichero de 15m lineas, a ver si estoy equivocado
    – Shirkam
    Commented el 23 ene. 2018 a las 17:09
  • Gracias igual haré la prueba, dame un momento y te digo como fue; en si lo que noto es que realmente el batch de los 2000 no tarda mucho sino que el simple hecho de llegar a esos 2000 es "lento" y lo digo entre comillas por que realmente son muchísimas las lineas por leer y parsear Commented el 23 ene. 2018 a las 17:12

1 respuesta 1

2

Según parece, lo que más ralentiza tu código es la ejecución de un insert por línea, lo que resulta en 15 millones de inserts ejecutados por fichero. Esto podría arreglarse si en vez de hacer un insert por línea, insertásemos varios valores en un mismo insert, como por ejemplo, de la siguiente manera:

BufferedReader br = new BufferedReader(new FileReader(filename));

String line;
StringBuffer sb = new StringBuffer();
Date hoy = new Date();
String hoyString = new SimpleDateFormat("yyyy-MM-dd").format(hoy);
int VALORES_POR_INSERT=2000;
List<String> lInserts = new ArrayList<>(15000000/VALORES_POR_INSERT); //Asi no tiene que estar creciendo mucho

sb.append("INSERT INTO A(id, fecha) VALUES ");
int iteracion = 0;
while((line = br.readLine()) != null) {
    String[] split = line.split("\\|");
    sb.append("('")
        .append(split[0])
        .append("', '")
        .append(hoyString)
        .append("'),");

    ++iteracion;

    if(iteracion == VALORES_POR_INSERT) {
        iteracion = 0;
        sb.deleteCharAt(sb.length()-1); //Quitamos la ultima ","

        lInserts.add(sb.toString());
        sb.setLength(0);
        sb.append("INSERT INTO A(id, fecha) VALUES ");
    }
}

He generado un fichero de 15 millones de líneas, y este algoritmo (que seguro se puede mejorar) tarda aproximadamente 5 segundos (o lo que es lo mismo, una mejora temporal de un 17000% aproximadamente) en leerlo. Usando una variación de esto, y ejecutando las consultas al final de la lectura, deberías mejorar tu rendimiento de forma drástica. Otra cosa a probar con diferentes valores para N_LINEAS que al final es el que dice cuantas líneas por insert tenemos. Está puesto en 2000, pero seguramente se pueda aumentar bastante, y por tanto mejorar el rendimiento.

PD: En este código, he utilizado el array lInsertscomo si fuese stmt.addBatch(query); es decir, un array de consultas que luego serán ejecutadas. Hay que hacer los cambios necesarios para que case con tu problema.

IMPORTANTE Este código presupone que puedes leer desde la línea 0 del archivo, hacer los cambios necesarios para tu propia configuración.

3
  • dame un tiempo para ajustar mi con mi código Commented el 23 ene. 2018 a las 21:00
  • @jorgemarquez Tan solo comprueba resultados, y si necesitas algo más, edita tu pregunta y se ve
    – Shirkam
    Commented el 23 ene. 2018 a las 21:02
  • genial amigo funciona de lujo Commented el 23 ene. 2018 a las 23:50

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.