buen día compañeros
tengo un código que se encarga de procesar un archivo .txt e insertarlo en una base de datos de SQL; todo esto en java usando netbeans
mi código es el siguiente:
String line = null;
int exito=0;
int numeroBatch=0;
int counter = 0;
DateFormat dateFormat = new SimpleDateFormat("yyyy_MM_dd");
Date date = new Date();
Calendar c = Calendar.getInstance();
c.setTime(date);
c.add(Calendar.DATE, -3);
date = c.getTime();
String fechaBuscar=dateFormat.format(date);
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(new FileInputStream("Tmp\\unzip\\"+tempRead+".txt"),"iso-8859-1"));
Class.forName("com.microsoft.sqlserver.jdbc.SQLServerDriver");
cadenaConexion="jdbc:sqlserver://localhost\\MSSQLSERVER;databaseName=test";
usuarioDB="test";
passDB="testing123";
Connection con=DriverManager.getConnection(cadenaConexion,usuarioDB,passDB);
Statement stmt=con.createStatement();
boolean empiezaArchivo=false;
while((line = bufferedReader.readLine()) != null) {
counter++;
if(counter >= 4&&!"EOF".equals(line)&&empiezaArchivo!=false)
{
String lineaParsea=line;
String[] data = lineaParsea.split("\\|");
System.out.println("generando registro "+(counter-3)+" de archivo "+(tempRead+1)+" para base de datos...");
try
{
con=DriverManager.getConnection(cadenaConexion,usuarioDB,passDB);
String query="insert into datos (dato,fecha_bajada) values('"+data[0]+"','"+fechaBuscar+"')";
stmt.addBatch(query);
if(numeroBatch==2000)
{
stmt.executeBatch();
numeroBatch=0;
stmt=con.createStatement();
}
numeroBatch++;
exito= 1;
}
catch(Exception ex)
{
Logger.getLogger(BajarArchivosYProcesa.class.getName()).log(Level.SEVERE, null, ex);
exito= 0;
}
if(exito==0)
{
break;
}
}
else if("EOF".equals(line))
{
System.out.println("Se termino de procesar el registro del archivo "+(tempRead+1));
stmt.executeBatch();
numeroBatch=0;
stmt=con.createStatement();
break;
}
else
{
//nada... con las primeras lineas no hacemos nada..
String inicio="DATOQUENECESITO|OTRO|OTRO2";
if(line.toLowerCase().contains(inicio.toLowerCase()))
{
empiezaArchivo=true;
}
}
}
Como verán el archivo txt lo tengo que pasear para obtener solo el dato que quiero (el registro viene asi DATOQUENECESITO|OTRO|OTRO2 y yo solo tomo el primer dato)y luego uso un batch de 2000 registros para procesar los insert.
El código como tal me sirve; pero el problema es que tarda muchísimo, el archivo txt tiene mas 15 millones de registros, y proceso un total de 5 archivos txt; por cada archivo se tarda mas menos un día.
¿existe una forma mejor de poder procesar el txt y hacer los insert en la base de datos SQL?
Gracias por su apoyo
StringBuilder
con todos los valores a insertar conforme lees el archivo, y luego ejecutar una sola consulta SQL en vez de ejecutar una consulta por línea de archivo, que es lo que seguramente ralentice la ejecución