1

Mantengo un proyecto antediluviano basado en java 1.4.2 y struts. De momento he podido resolver y desarrollar casi cualquier cosa, pero se me ha presentado una situación donde me han surgido dudas. En este caso he de generar, partiendo de un resultset un csv al vuelo que el usuario descarga después de realizar la petición.

Funcionar funciona, pero dado que no he podido utilizar ninguna librería de generación de csv por la antigüedad del entorno, me preguntaba si lo que estoy haciendo es eficiente. Actualmente generar un csv de +120000 filas cuesta unos 6 minutos en entorno de desarrollo (se reduciría a la mitad aproximadamente en producción).

He aquí partes del código:

response.setContentType("text/csv");
            response.setHeader("Content-Disposition",
                               "attachment; filename=\"exportacio_selectiva.csv\"");
            response.setHeader("Content-Type", "application/comma-separated-values; charset=UTF-8");            
            ServletOutputStream outputStream = response.getOutputStream();

            //"interceptamos" clause de DBEntityList.
            //contiene los campos from y where de los filtros utilizados en la lista
            String clause = cloneOptimizedList.getClause();
            String[] clauseList = clause.split("FROM");
            String whereClause = clauseList[1];
            //hacemos la llamada a bbdd con nuestra query
            List dataToExport = getExportList(whereClause,exportId,tableName);
            //convertimos el resultado en campos csv separados por ;
            StringBuffer csvContent = getStringForCsv(dataToExport,exportId);

            byte[] content = csvContent.toString().getBytes();
            response.setContentLength(content.length);
            outputStream.write(content,0,content.length);
            outputStream.flush();
            outputStream.close();

private StringBuffer getStringForCsv(List data, String columns)
    {
        //eliminamos la , final         
        columns = columns.substring(0, columns.length() - 1);               
        columns = columns.replaceAll(",", ";");
        StringBuffer csvContent = new StringBuffer();
        csvContent.append(columns+System.getProperty("line.separator"));

        for ( int i=0 ; i<data.size() ; i++ )
        {
            //no podemos usar StringUtils de Apache por obsoleto
            //asi que hay que recorrer la lista de listas creando el string con separador ;
            ArrayList temp = (ArrayList) data.get(i);
            for ( int j = 0 ; j < temp.size() ; j++ )
            {
                if (temp.get(j)==null)
                {
                    csvContent.append("''");
                }
                else{
                    csvContent.append(temp.get(j).toString());
                }

                if (j != temp.size()-1)
                {
                    csvContent.append(";");
                }
                else
                {
                    csvContent.append(System.getProperty("line.separator"));
                }
            }       

        }

        return csvContent;
    }

¿Alguna sugerencia?

EDIT: Agrego el código del método getExportList

private List getExportList(String filters, String columns, String tableName)
    {

        EntityManager em = new EntityManager();
        Connection conn = em.getConnection();
        //columns = columns.substring(0, columns.length() - 1);
        HashMap map = new HashMap();
        if (tableName.equalsIgnoreCase("TSC_ATM"))
        {
            TableMapCard tm = TableMapCard.getInstance();
            map = (HashMap) tm.getMap();
        }
        else
        {
            TableMap tm = TableMap.getInstance();
            map = (HashMap) tm.getMap();
        }       

        columns = columns.substring(0, columns.length() - 1);
        String[] columnsList = columns.split(",");
        String translatedColumns = "";
        for (int j=0; j<columnsList.length; j++)
        {
            translatedColumns += map.get(columnsList[j])+",";
        }
        translatedColumns = translatedColumns.substring(0,translatedColumns.length()-1);        



        log.error(COGALogger.SERVER_ERROR, "EXPORT COLUMNS: "+translatedColumns);
        String query = "SELECT "+ translatedColumns.toUpperCase() +                         
                " FROM " +filters.toUpperCase();                
        log.error(COGALogger.SERVER_ERROR, "QUERY EXPORT VALIDATIONS: "+query);
        try {           

            PreparedStatement stmt = conn.prepareStatement(query);          
            ResultSet rset = stmt.executeQuery();
            String[] columnList = columns.split(",");
            List result= new ArrayList();
            while (rset.next())
            {
                List row= new ArrayList();
                for (int i=1 ; i<columnList.length+1 ; i++)
                {
                    row.add(rset.getObject(i));
                }               
                result.add(row);
            }
            stmt.close();           

            return result;

        } catch (SQLException e) {

            e.printStackTrace();

        } 
        return null;

    }
9
  • 1
    Mi sugerencia es que lo hagas "en streaming", es decir, en lugar de leer todo y pasarlo a un List y luego procesar todo en un String y luego escribirlo en el output, yo iríra escribiendo mientras leo de la BBDD, eso hace el proceso mucho más eficiente desde el punto de vista de la memoria, la gestión del GC en Java 1.4 es muy ineficiente, comparada con los JDK actuales. Si añades el método getExportList() te podría hacer una propuesta con código.
    – Roberto
    el 19 feb. 2020 a las 15:29
  • 1
    ¿Cuanto te tarda la consulta SQL si no generas el CSV? Me extraña que te tarde 6 minutos por ineficiencia en la generación de strings. ¿Podrías descartar que fuese un problema de rendimiento en el acceso a la base de datos?
    – ordago
    el 19 feb. 2020 a las 15:41
  • 1
    @ordago ejecutándola en el entorno de sqldeveloper es prácticamente inmediata
    – Rafa J
    el 19 feb. 2020 a las 15:56
  • 1
    @RafaJ perdona que insista porque me sigue pareciendo raro, ¿has probado cuanto te tarda ejecutando la consulta desde Java, no desde el sqldeveloper? ¿Estás escribiendo trazas? Especialmente si están en algún bucle que se ejecute muchas veces
    – ordago
    el 19 feb. 2020 a las 16:02
  • 1
    @ordago perdona, te he contestado algo que no habías preguntado. Efectivamente he mirado desde java. Por los controles que he ido estableciendo (sencillas salidas por log con su timestamp) el problema es la generación del contenido del csv. Aún así voy a repetir pruebas por si se me ha escapado algo.
    – Rafa J
    el 19 feb. 2020 a las 16:08

2 respuestas 2

1

Has valorado el que desde la consulta devuelvas el String para el CSV? Podrías componerlo concatenando los valores separados por las comas e incluir el ; final. De este modo, la consulta te devolvería los strings listos para el CVS

5
  • Lo pensé al implementarlo al principio pero se descartó por que el código genera la consulta de manera agnóstica a las tablas. Los campos no siempre son los mismos, además, porque es una exportación selectiva de campos que se eligen desde la interfaz web.
    – Rafa J
    el 19 feb. 2020 a las 15:58
  • 1
    Puedes hacerlo adaptando el translatedColumns a concat de los campos. No debería afectarte que sean más o menos campos, ni el número de tablas que cruces. Y en caso de nulos, puedes usar NVL
    – darrey
    el 19 feb. 2020 a las 16:01
  • La verdad es que cuesta poco rehacer el código para probarlo. Gracias por la sugerencia. Voy a ello.
    – Rafa J
    el 19 feb. 2020 a las 16:17
  • Probado y, por desgracia, descartado. He hecho las pruebas un par de veces con 61000+ registros y ha tardado lo mismo que antes de modificar el código, quizá unos segundos menos, pero apenas. Gracias de todas maneras, valía la pena probar.
    – Rafa J
    el 19 feb. 2020 a las 16:30
  • Respecto a la mejora que has hecho, ¿Porque no incluyes el separador de linea en la consulta? Tal como lo tienes ahora, haces una carga de la property, cuando si lo metes en la consulta no deberías hacerlo.
    – darrey
    el 21 feb. 2020 a las 12:44
1

Finalmente he podido resolver el problema por dos frentes. En primer lugar he vuelto a la idea de la concatenación de campos propuesta por @darrey que me facilita bastante las cosas para el siguiente paso. En segundo lugar, como propuso @Roberto ahora el fichero se descarga en streaming. He modificado el método GetExportList para que reciba como parámetro el ServletOutputStream y el bucle ha quedado así:

String row = "";

while (rset.next())
{
    row = rset.getObject(1).toString()+System.getProperty("line.separator");
    out.write(row.getBytes(),0,row.getBytes().length);              

}
stmt.close();                       
out.flush();
out.close();

Ahora el tiempo total depende de la velocidad de descarga desde el servidor al cliente, que es bastante más rápida incluso en entorno de desarrollo. Gracias por la ayuda.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.