2

Estoy trabajado con un pequeño projecto, graphipedia (Se usa para importar dumps de wikipedia o de alguna otra wiki), y a traves de este estoy importando un dump de wikiquotes. Este projecto usa internamente stax para parsear el xml (es decir, el dump)

En algun momento del proceso de lectura del xml, el codigo lee caracteres (entre <text> y </text>), y el codigo hace un append a una variable variable StringBuilder, pero por alguna razon el metodo no agrega ni un solo caracter a la variable textBuffer (de tipo StringBuilder)

Aca esta el código:

package org.graphipedia.dataimport;

import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.util.LinkedList;
import java.util.List;

import javax.xml.stream.XMLInputFactory;
import javax.xml.stream.XMLStreamException;
import javax.xml.stream.XMLStreamReader;
import javax.xml.stream.events.XMLEvent;

import org.codehaus.stax2.XMLInputFactory2;

public abstract class SimpleStaxParser {

    private static final String STDIN_FILENAME = "-";
    private static final XMLInputFactory XML_INPUT_FACTORY = XMLInputFactory2.newInstance();

    private final List<String> interestingElements;

    public SimpleStaxParser(List<String> interestingElements) {
        this.interestingElements = interestingElements;
    }

    protected abstract void handleElement(String element, String value);

    public void parse(String fileName) throws IOException, XMLStreamException {
        if (STDIN_FILENAME.equals(fileName)) {
            parse(System.in);
        } else {
            parse(new FileInputStream(fileName));
        }
    }

    private void parse(InputStream inputStream) throws IOException, XMLStreamException {
        XMLStreamReader reader = XML_INPUT_FACTORY.createXMLStreamReader(inputStream, "UTF-8");
        try {
            parseElements(reader);
        } finally {
            reader.close();
            inputStream.close();
        }
    }

    private void parseElements(XMLStreamReader reader) throws XMLStreamException {
        LinkedList<String> elementStack = new LinkedList<String>();
        StringBuilder textBuffer = new StringBuilder();

        while (reader.hasNext()) {
            switch (reader.next()) {
            case XMLEvent.START_ELEMENT:
                elementStack.push(reader.getName().getLocalPart());
                textBuffer.setLength(0);
                break;
            case XMLEvent.END_ELEMENT:
                String element = elementStack.pop();
                if (isInteresting(element)) {
                    handleElement(element, textBuffer.toString().trim());
                }
                break;
            case XMLEvent.CHARACTERS:
                if (isInteresting(elementStack.peek())) {
                    textBuffer.append(reader.getText());
                }
                break;
            }
        }
    }

    private boolean isInteresting(String element) {
        return interestingElements.contains(element);
    }

}

La linea del codigo que me está trayendo problemas es esta

textBuffer.append(reader.getText());

En esa linea, reader.getText() devuelve lo siguiente:

lo que pasó, pasó por una razón...

'''Neo''': ¿Y qué razón es esa?

'''Smith''': Yo lo maté, señor Anderson, lo vi morir... Con cierta satisfacción, debo decir. Y luego algo pasó. Algo que sabía que era imposible, pero aún así pasó: usted me destruyó, señor Anderson... Después, cuando supe las reglas, entendí lo que debí haber hecho, pero no lo hice. No podía, fui obligado a quedarme, fui obligado a desobedecer... Y ahora aquí estoy por su culpa, señor Anderson. Por su culpa, ya no soy un agente de este sistema. Por su culpa cambié, me desconecté. Un hombre libre por decir algo, como usted, aparentemente libre.

'''Neo''': ¡Felicidades!

'''Smith''': Gracias... Pero, como sabrá, las apariencias engañan, lo cual me regresa a la razón por la que estoy aquí. No estamos aquí por ser libres. Estamos aquí por no ser libres. No hay razón de escapatoria, ni propósitos de negación. Porque, como sabemos, sin propósitos, no existiríamos...

'''Clones''': Propósito fue lo que nos creó... propósito lo que nos conecta, propósito lo que nos impulsa, lo que nos guía, lo que nos controla, es el propósito lo que define, propósito lo que nos une.

'''Smith''': Estamos aquí por culpa suya, señor Anderson. Estamos aquí para quitarle lo que trató de quitarnos a nosotros ¡Propósito!

[[Categoría:Películas]]

[[en:The Matrix (franchise)]]
[[sl:Matrica]]

Antes que el metodo append sea ejecutado, la variable textBuffer tiene un valor en "count" de 30643, una "capacidad" de 64254, y el text a agregar tiene una longitud de 1352.

La información en la que el parser esta trabajando está en: https://es.wikiquote.org/w/index.php?title=The_Matrix&action=edit (es muy grande para mostrarla directamente aca)


Pasos para reproducir este problema: Conseguir el dump, descargar graphipedia, descomprimirlo y construirlo con maven (mvn package). Corrrer ExtractLinks desde Eclipse o un IDE similar, en orden de poder hacer un debug correcto del codigo.

3 respuestas 3

0

El problema me parece se encuentra en textBuffer.setLength(0); cuando el parser inicia la lectura de un tag estas definiendo la longitud como 0 del contenido de StringBuilder. Elimina esa linea y prueba nuevamente.

 switch (reader.next()) {
            case XMLEvent.START_ELEMENT:
                elementStack.push(reader.getName().getLocalPart());
                //textBuffer.setLength(0);
                break;

Un ejemplo de setLength(), si tenemos un string con longitud 17

string = StackOverFlow.com
length = 17

Si definimos un StringBuilder con un .setLength(5), obtendríamos como resultado:

string = Stack
length = 5
1
  • 1
    Muchas gracias Elenasys por tu ayuda, ya pude encontrar cual era el problema.
    – chomp
    Commented el 29 may. 2016 a las 21:03
0

El problema es en la llamada StringBuilder#setLength(0). Esto va a limpiar todo el contenido que haya en el StringBuilder. Lo puedes ver por el código utilizado en AbstractStringBuilder (basado en HotSpot v1.8.0_65):

public void setLength(int newLength) {
    //validación del valor ingresado
    if (newLength < 0)
        throw new StringIndexOutOfBoundsException(newLength);
    //asegura que haya espacio suficiente en la estructura (un arreglo)
    ensureCapacityInternal(newLength);
    //el resto de caracteres serán el caracter vacío: \0
    if (count < newLength) {
        Arrays.fill(value, count, newLength, '\0');
    }
    //se cambia la longitud como contenedor
    count = newLength;
}

Lo mejor en estos casos es verificar si la variable tiene contenido, hacer algo con ese contenido, y luego re iniciar el elemento:

case XMLEvent.START_ELEMENT:
    elementStack.push(reader.getName().getLocalPart());
    if (textBuffer.length() > 0) {
        //escribir los datos o lo que sea en algún lado
    }
    //textBuffer.setLength(0);
    //esto libera el contenido mejor que utilizando setLength a 0
    //ayuda al GC a retomar la memoria contenida por el objeto StringBuilder anterior
    textBuffer = new StringBuilder();
    break;
5
  • Hola Luiggi, no creo que eso sea el problema. Fijate que en la ultima parte de mi pregunta aclaro que textBuffer tiene contenido, el problema es que el append deberia agregarle mas contenido pero no lo hace. Ese codigo que vos decis se ejecuta una única vez, cuando se encuentra un START_ELEMENT. En el caso que yo menciono, encontro un elemento text, por ende inicializo la variable textBuffer con longitud en 0.
    – chomp
    Commented el 29 may. 2016 a las 20:11
  • @chomp me parece que sucede algo como esto: reader.next() lee y encuentra XMLEvent.START_ELEMENT e inicia la variable textBuffer, luego lee el contenido del XML, luego lee XMLEvent.START_ELEMENT nuevamente debido a que hay un elemento anidado y limpia el contenido de textBuffer. Te recomiendo que realices un debug respectivo sobre el contenido de tu XML para ver qué es lo que sucede. Si StringBuilder#append realmente fallara es porque no existe más memoria y se lanzaría un OutOfMemoryError pero esa no parece ser tu situación.
    – user227
    Commented el 29 may. 2016 a las 20:15
  • Luiggi, estoy haciendo un debug en este mismo instante. Mi intención no fue decir que el metodo está fallando, entiendo que es algo que es muy poco probable. No falla, pero no agrega el contenido que recibe, en ese caso particular. En otros casos lo estoy siguiendo y el nuevo texto es agregado correctamente en textBuffer.
    – chomp
    Commented el 29 may. 2016 a las 20:23
  • @chomp lo mejor sería que coloques exactamente la cadena de texto que intentas agregar y que falle. Sería conveniente si también agregas información sobre la plataforma que utilizas: versión de Java, nombre de la VM, sistema operativo, versión, etc.
    – user227
    Commented el 29 may. 2016 a las 20:47
  • Muchas gracias Luiggi por tu ayuda, ya pude encontrar cual era el problema.
    – chomp
    Commented el 29 may. 2016 a las 21:03
0

Fue un error mio, por desconocimiento de como Eclipse maneja al hacer debug, el contenido de variables de tipo String. Append estaba agregando el contenido al StringBuilder correctamente, lo que pasó es que, al ser tan largo el string, Eclipse nos muestra hasta cierto punto y de ahi en mas muestra "...".

Examinango el valor de la variable como si fuera a cambiarlo, pude ver el verdadero valor de la variable textBuffer.

¡Gracias a todas las personas que me ayudaron!

1

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.