2

Mi pregunta es: ¿Cómo puedo obtener una página web completa desde java? El problema es que, según creo yo, la página se completa con JavaScript, dado que he intentado obtenerla de la siguiente forma y la obtengo de forma totalmente incompleta y sin ningún estilo:

    String codigo, linea;

    URL url = new URL("http://...");
    URLConnection conexion = url.openConnection();
    conexion.setDoOutput(true);

    BufferedReader reader = new BufferedReader(new InputStreamReader(conexion.getInputStream()));
    while ((linea = reader.readLine()) != null) {
        codigo += linea;        
    }

¡Gracias!

ACTUALIZACIÓN:
Me gustaría guardarla en un String, como ya lo hago en el código que he puesto arriba.

ACTUALIZACIÓN 2:
Si la guardo desde Chrome si me la guarda de forma completa, con el html completo, pero si lo hago como en el código que he puesto antes, faltan un montón de divs, prácticamente toda la página

¡Gracias!

3
  • 2
    Bienvenido a Stack Overflow en Español. Te invito a leer cómo crear una buena pregunta. Cuando te refieres a obtener una página web completa, ¿te refieres a emular lo que hace chrome cuando primes ctrl+s? Commented el 3 mar. 2017 a las 21:37
  • 1
    Hola, por favor edita y da más detalles de lo que quieres. ¿Obtenerla dónde, en un archivo html, visualizarla en una pantalla, en un webview... o dónde, o quieres obtener un string con todo el contenido de una página web?
    – A. Cedano
    Commented el 4 mar. 2017 a las 1:18
  • Lo más fácil es que descargues una librería que se ocupe de esto, ya que no es tarea fácil. Busca "java web crawler library" y obtendrás más información. No te compliques, muchos se han encontrado en tu situación antes, aprovecha sus desarrollos. Commented el 5 ago. 2017 a las 21:44

4 respuestas 4

2

lo que quieres hacer lleva algo de trabajo, para guardar la pagina completa debes entender como carga las paginas un navegador, para empezar abre el modo desarrollador de tu navegador:

El mejor navegador que puedes utilizar es Chrome, lo que haces es ir al
Menu->Mas Herramientas->Herramientas para Desarrolladores

Cuando estes adentro ve a la pestaña Network y recarga la página, aqui vas ha ver una lista detallada de todos los pedidos que hace el navegador para cargar solo una página.

El primer elemento que aparece en la lista es exactamente lo que has descargado con java.

Como Funciona

  • Primero se descarga el documento principal, este no contiene absolutamente mas nada que texto.
  • Luego se analizan todos los elementos html dentro del doc principal y los vínculos que contienen, por ej:
    <img src="images/mi_imagen.jpg"/>, este elemento que muestra una imagen tiene configurado que la fuente sea images/mi_imagen.jpg
  • Finalmente el navegador procede a descargar los vínculos que ha escaneado, con el objetivo de completar la página. En el caso del ejemplo el navegador va ha descargar images/mi_imagen.jpg del servidor.

Como si fuera poco todavía falta un detalle:
Las páginas actuales no cargan todo el contenido de la primera vez, no, es una tendencia utilizar ajax, mediante ajax se puede cargar contenido adicional a la página sin necesidad de recargarla.

Por Tanto, lo que haces es:

  • Descargar el documento principal
  • Interpretar todos los elementos, mediante un parser, y hacer una lista de vinculos que contienen los elementos.
  • Luego descargar los archivos de la lista.
  • Sustituir en los elementos html del documento descargado el vinculo anterior por el del archivo descargado en el disco local.

Estos pasos son los mismos que hace Chrome cuando le ordenas descargar una página, Mas Menos. Suerte

0

Si he entendido bien tu pregunta, hay muchos métodos para hacerlo y cada uno de ellos dependerá de cuales sean tus pretensiones reales y para qué vayas a usar ese conjunto de datos...

En primer lugar te recomendaría investigar un poco más acerca de lo que es DOM y como obtenerlo.

Tal vez te conviene usar un poco de jquery y facilmente obtengas el DOM de un elemento (aunque sea del <body> o <html> que podrías hacer mediante:

$(selector).html()

Y ya después, cuando tienes todo el string de datos con sus divs, etc. ya facilmente se lo pasas a tu código de Java. Según entiendo por tus actualizaciones tu problema actual es conseguir todo ese string de datos, buenos pues así tienes varias maneras de hacerlo que seguro te ayudarán a conseguirlo.

Lo mejor que podrías hacer es esperar a que el DOM se haya cargado completamente. para ello existe el evento window.onload y, por supuesto, existe su versión para jQuery ready. Se discute de ello y sus diferencias en este post.

Espero que te sirva un poco para guiarte y reformular tu pregunta para que podamos mejorar en las respuestas ;)

Saludos

0

Si descargas desde el codigo la pagina lo que estas obteniendo es el codigo fuente de la pagina. Comentas que faltan los estilos y varios div. Para guardar los estilos si no están escritos en el mismo archivo html, deberas descargar también la hoja de estilos que esta asociada al html. También si la pagina usa javascript para el contenido dinámico no se ejecutará, ya que estas descargando el codigo fuente del html en concreto. Cuando lo descargas con un navegador, este interpreta el javascript y también te guarda todos los ficheros asociados al html creando una carpeta.

-1

Se puede hacer usando un while( br.ready() ){ fw.write(br.read()); } donde br es un bufferedReader y fw es un FileWriter.

br.ready() sirve para que el while esté activo mientras el buffer recibe los datos. en mis pruebas utilicé HttpURLConnection en lugar de URLConnection.

1
  • El problema parece ser que el OP necesita el resultado de la página + javascript.
    – Candid Moe
    Commented el 14 feb. 2021 a las 14:22

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.