0

Hace poco que por motivos de trabajo cambié a programar en Python y a realizar Web Scraping.

He avanzado bastante en la descarga de archivos, siempre y cuando sea a partir de enlaces de descarga, bien directamente o revisando la web.

Mi problema ahora, es con una web con un visor PDF incrustado, el cual para descargarlo haces click en el icono de descarga y te redirige a otra web con ese mismo PDF incrustado para poder descargarlo.

A ver si podéis echarme una mano o guiarme en la dirección correcta, he buscado bastante pero no consigo aclararme mucho en este caso.

La web en cuestión es esta:

http://www.cembre.es/Catalogues

Muchas gracias.

1 respuesta 1

0

El pdf en cuestión se muestra en un <iframe>, que en el fondo es otra página (que podría estar en otro servidor) que se muestra incrustada en la que estás viendo.

Desde el punto de vista del scraping, el contenido del iframe no forma parte de la página actual, y para poder acceder a sus contenidos, deberías hacer un GET a la URL de ese iframe, que en este caso es http://www.cembre.es/flexPaper/CG_S/index.html

Una vez has recuperado el HTML de esa otra página, puedes seguir haciendo scraping en la misma. En este caso, el HTML que descargas apenas contiene nada, pues es un reproductor basado en JavaScript para ver documentos página a página, y toda la interfaz de ese reproductor (incluyendo el botón para descargarlo) no forma parte del HTML que obtienes, sino que es creado dinámicamente al ejecutar el JavaScript pertinente.

Ya que python no puede ejecutar javascript la solución habitual en este tipo de páginas creadas dinámicamente es utilizar Selenium. Esta solución usa un navegador real (Chrome, Firefox) pero "teledirigido" desde python, que simula las acciones del usuario como pinchar botones, etc. y puede acceder al documento resultante tras la ejecución del javascript en ese navegador.

Por suerte en este caso quizás no sea necesaria tanta complicación, ya que en el HTML que hemos bajado del Frame podemos ver algo como:

<script type="text/javascript">
    // viewer start
    $('#documentViewer').FlowPaperViewer(
            { config : {
                PDFFile                 : 'docs/CG_S_[*,2,true].pdf?reload=1544537052019',
                IMGFiles                : 'docs/CG_S.pdf_{page}.jpg?reload=1544537052019',
                HighResIMGFiles         : '',
                JSONFile                : 'docs/CG_S.pdf_{page}.bin?reload=1544537052019',
                JSONDataType            : 'lz',
                ThumbIMGFiles           : 'docs/CG_S.pdf_{page}_thumb.jpg?reload=1544537052019',
                SWFFile                 : '',
                FontsToLoad             : null,

                Scale                   : 0.1,
                ZoomTransition          : 'easeOut',
...etc...

y entre esos parámetros podemos "entrever" que la ruta para acceder al documento sería docs/CG_S.pdf. Efectivamente, si haces un GET a la URL http://www.cembre.es/flexPaper/CG_S/docs/CG_S.pdf obtienes el documento.

Automatizar esto puede no ser sencillo. Quizás lo más simple sería utilizar una expresión regular para encontrar dentro del HTML del iframe el texto

IMGFiles                : 'docs/CG_S.pdf_{page}.jpg?reload=1544537052019

y extraer de esa línea la ruta docs/CG_S.pdf, concatenarla a la ruta de la que se descargó el iframe, y así construir la ruta al pdf.

1
  • Perfecto ! Muchas gracias, no me habia dado cuenta de que dentro de la web del iframe estaba ese texto, y gracias a eso he podido realizarlo y que lo descargue en todos los idiomas, muchas gracias !
    – Narghaks
    el 6 nov. 2019 a las 15:52

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.