0

Tengo un servicio hecho en Java EE que recibe un MultipartFormDataInput. El obejetivo es recibir un excel y poder saber la cantidad de registros que tiene. El problema principal es que son excels de gran tamaño (150.000 registros mínimo) los cuales tratándolos con la librería Workbook hacen que rompa el mismo Java (se llena el GC) y averigüé que no tendría inconvenientes en tratarlos con la librería SXSSFWorkbook. Mi duda es cómo hacerlo, es decir, no encuentro la forma de generar el workbook desde el MultipartFormDataInput con SXSSFWorkbook. Muchas gracias

3
  • y que codigo has usado para intentar? el codigo de las nuevas versiones de poi es algo diferente Commented el 26 ene. 2023 a las 17:05
  • Gracias @RuslanLópez por tu respuesta. Leyendo la docu de Apche Poi me doy cuenta que SXSSFWorkbook no sirve para leer files, sino sólo para leerlos. Voy a averiguar alternativas y les cuento Commented el 27 ene. 2023 a las 18:11
  • aca no ponemos respuestas, es el lugar de los comentarios, las respuestas van abajo, por ello te recomiendo hacer el recorrido. Si quieres un ejemplo de como escribir un excel con versiones nuevas hice hace poco este artículo. javapro.org/programming-languages/… Commented el 28 ene. 2023 a las 0:06

2 respuestas 2

0

Hay una forma de trabajar con archivos grandes pero no es nada amigable. Lleva un rato entenderlo.

Lo que hay que hacer es crear una clase que implemente la interfaz SheetContentsHandler. Esta clase es la que le va a dar el tratamiento al archivo excel para cumplir el objetivo que uno tenga en mente. Un ejemplo puede ser convertir el archivo en una extructura tipo lista o mapa, o convertirlo en otro tipo de archivo, o lo que sea.

En mi caso yo había creado una clase para convertir un excel en un mapa, pero ahora no encuentro el proyecto. Ademas de esa clase hay que hacer uso de otras que están en el javadoc de Apache POI y se muestran en el ejemplo XLSX2CSV. Es bastante enredado pero es lo único que tengo a mano. Viene de la sección Limitaciones para el tratamiento de archivos excel.

1
  • Tu respuesta podría mejorarse con información de apoyo adicional. Por favor, pulsa en editar para añadir más detalles, como citas o documentación, para que otros puedan confirmar que tu respuesta es correcta. Puedes encontrar más información sobre cómo escribir buenas respuestas en el centro de ayuda.
    – Comunidad Bot
    Commented el 29 ene. 2023 a las 23:10
0

Bueno, estuve buscando y encontré la clase que había creado.

La idea de esta clase es agrupar según una lista de categorías que conforman una clave en forma de lista de strings.

Es decir el mapa sería un conjunto de entradas de tipo

{List<String> -> List<Double>}

La clase para generar el mapa a partir de un excel enorme sería esta:

import java.io.InputStream;
import java.io.IOException;

import java.util.HashMap;
import java.util.List;
import java.util.ListIterator;
import java.util.LinkedList;
import java.util.Map;
import java.util.function.Function;

import javax.xml.parsers.ParserConfigurationException;

import org.xml.sax.ContentHandler;
import org.xml.sax.InputSource;
import org.xml.sax.SAXException;
import org.xml.sax.XMLReader;

import lombok.RequiredArgsConstructor;
import lombok.Getter;
import lombok.Setter;
import lombok.NonNull;

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;

import org.apache.poi.openxml4j.exceptions.OpenXML4JException;
import org.apache.poi.openxml4j.opc.OPCPackage;
import org.apache.poi.openxml4j.opc.PackageAccess;
import org.apache.poi.ss.util.CellAddress;
import org.apache.poi.ss.util.CellReference;
import org.apache.poi.ss.usermodel.DataFormatter;
import org.apache.poi.util.XMLHelper;
import org.apache.poi.xssf.eventusermodel.XSSFReader;
import org.apache.poi.xssf.eventusermodel.ReadOnlySharedStringsTable;
import org.apache.poi.xssf.eventusermodel.XSSFSheetXMLHandler;
import org.apache.poi.xssf.eventusermodel.XSSFSheetXMLHandler.SheetContentsHandler;
import org.apache.poi.xssf.model.Styles;
import org.apache.poi.xssf.model.StylesTable;
import org.apache.poi.xssf.model.SharedStrings;
import org.apache.poi.xssf.usermodel.XSSFComment;


@RequiredArgsConstructor
@Getter
@Setter

public class ExcelToMap{
    private static final Logger LOGGER = LogManager.getLogger(ExcelToMap.class);
    private class SheetToMap implements SheetContentsHandler {
        private boolean firstCellOfRow;
        private int currentRow = -1;
        private int currentCol = -1;
        private List<String> key;
        private List<Double> value;
        
        public SheetToMap(){
            currentRow = -1;
            currentCol = -1;
            firstCellOfRow = false;
        }
        
        
        @Override
        public void startRow(int rowNum){
            firstCellOfRow = true;
            currentRow = rowNum;
            currentCol = -1;
            key = new LinkedList<>();
            value = new LinkedList<>();
        }

        @Override
        public void endRow(int rowNum){
            if (rowNum == 0)
                return;
            map.merge(key, value, (value1, value2) -> {
                List<Double> mergedValue = new LinkedList<>();
                ListIterator<Double> iterator1 = value1.listIterator();
                ListIterator<Double> iterator2 = value2.listIterator();
                while(iterator1.hasNext() && iterator2.hasNext()){
                    mergedValue.add(iterator1.next() + iterator2.next());
                }
                return mergedValue;
            });
            LOGGER.trace(String.format("Row %d parsed",rowNum));
        }

        @Override
            public void cell(String cellReference, String formattedValue, XSSFComment comment){
            if (currentRow == 0)
                return;
            if (firstCellOfRow) {
                        firstCellOfRow = false;
                    }
            if (cellReference == null) {
                        cellReference = new CellAddress(currentRow, currentCol).formatAsString();
                    }
            if (formattedValue == null) {
                        return;
                    }
            currentCol = (new CellReference(cellReference)).getCol();
            if(valuesIndexs.contains(currentCol)){
                try{
                    value.add(parseValueFunction.apply(formattedValue));
                    LOGGER.trace(String.format("Cell %s parsed",cellReference));
                } 
                catch(Exception e){
                    value.add(0.0);
                    LOGGER.warn(String.format("Value corresponding to %d collum from key %s is corrupted.", 
                        currentCol, key));
                }
            } else if (keysIndexs.contains(currentCol)){
                key.add(formattedValue);
                LOGGER.trace(String.format("Cell %s parsed",cellReference));
            } else
                return;
        }
    }

    @NonNull private OPCPackage xlsxPackage;
    @NonNull private Map<List<String>,List<Double>> map;
    @NonNull List<Integer> keysIndexs;
    @NonNull List<Integer> valuesIndexs;
    @NonNull Function<String, Double> parseValueFunction;
    /**
        *
        * @param styles The table of styles that may be referenced by cells in the sheet
        * @param strings The table of strings that may be referenced by cells in the sheet
        * @param sheetInputStream The stream to read the sheet-data from.

        * @throws java.io.IOException An IO exception from the parser,
        *            possibly from a byte stream or character stream
        *            supplied by the application.
        * @throws SAXException if parsing the XML data fails.
        */
        public void processSheet(Styles styles, SharedStrings strings, SheetContentsHandler sheetHandler,
                InputStream sheetInputStream) throws IOException, SAXException {
            DataFormatter formatter = new DataFormatter(true);
            InputSource sheetSource = new InputSource(sheetInputStream);
            try {
                    XMLReader sheetParser = XMLHelper.newXMLReader();
                    ContentHandler handler = new XSSFSheetXMLHandler(styles, null, strings, sheetHandler, formatter, false);
                    sheetParser.setContentHandler(handler);
                    sheetParser.parse(sheetSource);
            } catch(ParserConfigurationException e) {
                    throw new RuntimeException("SAX parser appears to be broken - " + e.getMessage());
            }
        }
    
    /**
        *
        * @throws IOException If reading the data from the package fails.
        * @throws SAXException if parsing the XML data fails.
    * @throws OpenXML4JException
        */
        public void process() throws IOException, OpenXML4JException, SAXException {
            ReadOnlySharedStringsTable strings = new ReadOnlySharedStringsTable(this.xlsxPackage);
            XSSFReader xssfReader = new XSSFReader(this.xlsxPackage);
            StylesTable styles = xssfReader.getStylesTable();
            XSSFReader.SheetIterator iter = (XSSFReader.SheetIterator) xssfReader.getSheetsData();
            while (iter.hasNext()) {
                    try (InputStream stream = iter.next()) {
                        processSheet(styles, strings, new SheetToMap(), stream);
                    }
            }
        }
}

Un ejemplo de cómo llamarla sería este:

import java.util.Arrays;
import java.util.LinkedList;
import java.util.HashMap;

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;

import org.apache.poi.openxml4j.opc.OPCPackage;
import org.apache.poi.openxml4j.opc.PackageAccess;


public class App 
{
    private static final Logger LOGGER = LogManager.getLogger(App.class);
    public static void main( String[] args )
    {
        try{
            OPCPackage xlsxPackage = OPCPackage.open(args[0], PackageAccess.READ);
        ExcelToMap converter = new ExcelToMap(xlsxPackage, new HashMap<>(), new LinkedList<>(Arrays.asList(0,1)),
        new LinkedList<>(Arrays.asList(2,3,4)), formattedValue -> Double.parseDouble(formattedValue));
        converter.process();
        LOGGER.info(String.format("Map %s was created", converter.getMap()));
    } catch(Exception e){
        LOGGER.error(String.format("Error: %s ", e.getMessage()));
    }
    
    }
}

Lo único que hay que hacer es crear el objeto OPCPackage con el método de fábrica open como se muestra en el ejemplo, y ademas establecer que columnas (contando desde 0) corresponden a claves y que columnas corresponden a valores. Por último hay que llamar al método process y al getter de la variable map, en este caso lombok generó el método getMap().

1
  • Tremendo laburo @Miguel... lo tengo en cuenta. Muchas gracias!!!! Commented el 16 feb. 2023 a las 14:31

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.