0

He trabajado una pequeña app que se encarga de subir archivos a AmazonS3 y en BD estoy guardando la URL del archivo, el problema que tengo ahora es poder descargar todos los archivos que el usuario subió en un solo archivo ZIP para evitar que este descargando uno por uno desde la interfaz.

En la interfaz agregue un botón que generará el ZIP de todos los archivos.

Busque maneras de generar el ZIP directo en AmazonS3 pero no encontré algo claro, así que opte por esta solución directa en JAVA

public byte[] downloadEvidencias(int evidenciaRetoID) throws MalformedURLException, IOException {
    List<DetalleEvidenciaReto> lDetalle = itemDAO.list(evidenciaRetoID);
    if (lDetalle == null || lDetalle.isEmpty()) {
        return null;
    }
    ByteArrayOutputStream baos = new ByteArrayOutputStream();
    try ( ZipOutputStream zos = new ZipOutputStream(baos)) {
        for (DetalleEvidenciaReto item : lDetalle) {
            byte[] input;
            try ( BufferedInputStream in = new BufferedInputStream(new URL(item.getRuta()).openStream())) {
                input = in.readAllBytes();
            }

            ZipEntry entry = new ZipEntry(String.format(
                    "%s %s",
                    item.getFechaEnvio().format(DateTimeFormatter.ofPattern("dd-MM-yyyy HH-mm-ss")),
                    item.getNombre())
            );
            entry.setSize(input.length);
            zos.putNextEntry(entry);
            zos.write(input);
            zos.closeEntry();
        }
    }
    return baos.toByteArray();
}

Este método lee la url del archivo item.getRuta(), y lo voy agregando al ZIP, me ha funcionado provisionalmente, hasta que obtuve el siguiente error:

Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: Java heap space

Entiendo que estoy desbordando en memoria y que una solución puede ser extenderla, pero quisiera no modificar configuraciones puesto que no tengo un acceso "libre" al servidor para hacer configuraciones de este tipo, solo despliegues. O existe manera de generar el ZIP directamente en Amazon, como mencione busque pero no encontré algo que pueda aplicar.

Gracias y espero me puedan guiar en esto.

4
  • ¿Tienes una estimación -en promedio- del número de archivos y su tamaño?
    – Sal
    el 3 ene. a las 21:22
  • imagina que en la url hay un archivo de tamaño infinito, que crees que pasaría con la línea que dice in.readAllBytes();? exacto leería hasta saturar la memoria, no quieres guardar todo en un arreglo, quieres mandarselo a otro stream. otra cosa... divide tu código en varios métodos para ir liberando memoria el 4 ene. a las 0:41
  • Según tengo entendido va de entre 1 a 150 archivos en promedio, ese error me salta cuando son mas de 50 archivos.
    – Anghi Diaz
    el 4 ene. a las 1:34
  • se ha validado que el archivo a subir no supere los 100mb, son fotos tomadas con celular que sirven como evidencias, promedio de 5 - 10mb c/u. Según estuve revisando, podría por favor darme mas detalles de como dividirlo en varios métodos?
    – Anghi Diaz
    el 4 ene. a las 1:37

1 respuesta 1

0

Como te indican en los comentarios el problema está en el uso del método InputStream#readAllBytes().

Este método lo que hace es leer todo los datos de un Stream y los devuelve en un byte[]. Esto implica que el contenido del arreglo devuelto está ocupando espacio en la memoria RAM (específicamente en el heap) hasta que el Recolector de Basura no la libere. Pero como estás leyendedo muchos archivos "al mismo tiempo" este proceso de liberación de la memoria usada con los archivos anteriores no ocurre (porque no se ejecuta tan frecuentemente) y se te desborda el heap.

La solución es usar el método InputStream#read(byte[]) que usa un arreglo a modo de buffer en el que almacena los datos leídos. De este modos sólo estarás ocupando la memoria que reserves para el arreglo cuando lo creas.

OJO: Por simplicidad sólo agrego el código correspondiente al bucle for, pero estoy asumiendo tú misma implementación para el resto del método.

byte[] buffer = new byte[1024]; // Puedes jugar con este tamaño para determinar cuál te funciona mejor
int readBytes = 0;
for (DetalleEvidenciaReto item : lDetalle) {
    ZipEntry entry = new ZipEntry(String.format(
            "%s %s",
            item.getFechaEnvio().format(DateTimeFormatter.ofPattern("dd-MM-yyyy HH-mm-ss")),
            item.getNombre())
    );
    // Esto debes ver cómo manejarlo con la nueva implementación (quizá leerla de S3)
    // entry.setSize(input.length);
    zos.putNextEntry(entry);

    try (BufferedInputStream in = new BufferedInputStream(new URL(item.getRuta()).openStream())) {
        while ((readBytes = in.read(buffer)) > 0) {
            zos.write(buffer, 0, readBytes);
        }
        zos.closeEntry();
    }
}
2
  • Lo verifique pero aun así obtengo el mismo error, creo que mejor evaluaré la manera de que el servidor de archivos genere ese comprimido y quitarle la responsabilidad al aplicativo. Gracias por tu respuesta
    – Anghi Diaz
    el 5 ene. a las 17:35
  • @AnghiDiaz oh no me dí cuenta de que el Zip lo estás creando sobre un ByteArrayOutputStream, por eso sigues con el mismo problema. No hay manera de evitar que eventualmente te topes con el mismo error si sigues almacenando en memoria. Una solución, si no quieres almacenarlos en el disco duro, es usar alguna base de datos en memoria. el 6 ene. a las 3:02

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.