Mantengo un proyecto antediluviano basado en java 1.4.2 y struts. De momento he podido resolver y desarrollar casi cualquier cosa, pero se me ha presentado una situación donde me han surgido dudas. En este caso he de generar, partiendo de un resultset
un csv al vuelo que el usuario descarga después de realizar la petición.
Funcionar funciona, pero dado que no he podido utilizar ninguna librería de generación de csv por la antigüedad del entorno, me preguntaba si lo que estoy haciendo es eficiente. Actualmente generar un csv de +120000 filas cuesta unos 6 minutos en entorno de desarrollo (se reduciría a la mitad aproximadamente en producción).
He aquí partes del código:
response.setContentType("text/csv");
response.setHeader("Content-Disposition",
"attachment; filename=\"exportacio_selectiva.csv\"");
response.setHeader("Content-Type", "application/comma-separated-values; charset=UTF-8");
ServletOutputStream outputStream = response.getOutputStream();
//"interceptamos" clause de DBEntityList.
//contiene los campos from y where de los filtros utilizados en la lista
String clause = cloneOptimizedList.getClause();
String[] clauseList = clause.split("FROM");
String whereClause = clauseList[1];
//hacemos la llamada a bbdd con nuestra query
List dataToExport = getExportList(whereClause,exportId,tableName);
//convertimos el resultado en campos csv separados por ;
StringBuffer csvContent = getStringForCsv(dataToExport,exportId);
byte[] content = csvContent.toString().getBytes();
response.setContentLength(content.length);
outputStream.write(content,0,content.length);
outputStream.flush();
outputStream.close();
private StringBuffer getStringForCsv(List data, String columns)
{
//eliminamos la , final
columns = columns.substring(0, columns.length() - 1);
columns = columns.replaceAll(",", ";");
StringBuffer csvContent = new StringBuffer();
csvContent.append(columns+System.getProperty("line.separator"));
for ( int i=0 ; i<data.size() ; i++ )
{
//no podemos usar StringUtils de Apache por obsoleto
//asi que hay que recorrer la lista de listas creando el string con separador ;
ArrayList temp = (ArrayList) data.get(i);
for ( int j = 0 ; j < temp.size() ; j++ )
{
if (temp.get(j)==null)
{
csvContent.append("''");
}
else{
csvContent.append(temp.get(j).toString());
}
if (j != temp.size()-1)
{
csvContent.append(";");
}
else
{
csvContent.append(System.getProperty("line.separator"));
}
}
}
return csvContent;
}
¿Alguna sugerencia?
EDIT: Agrego el código del método getExportList
private List getExportList(String filters, String columns, String tableName)
{
EntityManager em = new EntityManager();
Connection conn = em.getConnection();
//columns = columns.substring(0, columns.length() - 1);
HashMap map = new HashMap();
if (tableName.equalsIgnoreCase("TSC_ATM"))
{
TableMapCard tm = TableMapCard.getInstance();
map = (HashMap) tm.getMap();
}
else
{
TableMap tm = TableMap.getInstance();
map = (HashMap) tm.getMap();
}
columns = columns.substring(0, columns.length() - 1);
String[] columnsList = columns.split(",");
String translatedColumns = "";
for (int j=0; j<columnsList.length; j++)
{
translatedColumns += map.get(columnsList[j])+",";
}
translatedColumns = translatedColumns.substring(0,translatedColumns.length()-1);
log.error(COGALogger.SERVER_ERROR, "EXPORT COLUMNS: "+translatedColumns);
String query = "SELECT "+ translatedColumns.toUpperCase() +
" FROM " +filters.toUpperCase();
log.error(COGALogger.SERVER_ERROR, "QUERY EXPORT VALIDATIONS: "+query);
try {
PreparedStatement stmt = conn.prepareStatement(query);
ResultSet rset = stmt.executeQuery();
String[] columnList = columns.split(",");
List result= new ArrayList();
while (rset.next())
{
List row= new ArrayList();
for (int i=1 ; i<columnList.length+1 ; i++)
{
row.add(rset.getObject(i));
}
result.add(row);
}
stmt.close();
return result;
} catch (SQLException e) {
e.printStackTrace();
}
return null;
}
List
y luego procesar todo en un String y luego escribirlo en el output, yo iríra escribiendo mientras leo de la BBDD, eso hace el proceso mucho más eficiente desde el punto de vista de la memoria, la gestión del GC en Java 1.4 es muy ineficiente, comparada con los JDK actuales. Si añades el métodogetExportList()
te podría hacer una propuesta con código.