Según parece, lo que más ralentiza tu código es la ejecución de un insert por línea, lo que resulta en 15 millones de inserts ejecutados por fichero. Esto podría arreglarse si en vez de hacer un insert por línea, insertásemos varios valores en un mismo insert, como por ejemplo, de la siguiente manera:
BufferedReader br = new BufferedReader(new FileReader(filename));
String line;
StringBuffer sb = new StringBuffer();
Date hoy = new Date();
String hoyString = new SimpleDateFormat("yyyy-MM-dd").format(hoy);
int VALORES_POR_INSERT=2000;
List<String> lInserts = new ArrayList<>(15000000/VALORES_POR_INSERT); //Asi no tiene que estar creciendo mucho
sb.append("INSERT INTO A(id, fecha) VALUES ");
int iteracion = 0;
while((line = br.readLine()) != null) {
String[] split = line.split("\\|");
sb.append("('")
.append(split[0])
.append("', '")
.append(hoyString)
.append("'),");
++iteracion;
if(iteracion == VALORES_POR_INSERT) {
iteracion = 0;
sb.deleteCharAt(sb.length()-1); //Quitamos la ultima ","
lInserts.add(sb.toString());
sb.setLength(0);
sb.append("INSERT INTO A(id, fecha) VALUES ");
}
}
He generado un fichero de 15 millones de líneas, y este algoritmo (que seguro se puede mejorar) tarda aproximadamente 5 segundo en leerlo. Usando una variación de esto, y ejecutando las consultas al final de la lectura, deberías mejorar tu rendimiento de forma drástica. Otra cosa a probar son diferentes valores para N_LINEAS
que al final es el que dice cuantas líneas por insert tenemos. Está puesto en 2000
, pero seguramente se pueda aumentar bastante, y por tanto mejorar el rendimiento.
PD: En este código, he utilizado el array lInserts
como si fuese stmt.addBatch(query);
es decir, un array de consultas que luego serán ejecutadas. Hay que hacer los cambios necesarios para que case con tu problema.
IMPORTANTE Este código presupone que puedes leer desde la línea 0 del archivo, hacer los cambios necesarios para tu propia configuración.