2

Llevo ya algún tiempo tratando de descargar imágenes desde el Portal de Archivos Españoles (http://pares.mcu.es/ParesBusquedas20/catalogo/search). Quiero, por ejemplo, descargar todas las imágenes de este legajo: http://pares.mcu.es/ParesBusquedas20/catalogo/show/1305273

Si copio la dirección del enlace de cada imágen tiene esta forma: http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_id_imagen=1

Obviamente, lo que estoy intentando hace es que python descargue cada una de las imágenes del legajo y para eso escribí lo siguiente:

import urllib.request
import os
import requests

url_base = "http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_id_imagen={}"
lista = range(1,5)

directorio = "pares_files"
os.makedirs(directorio)
for i in range(len(lista)):
    url = url_base.format(lista[i])
    r = requests.get(url)
    with open("%s/%s.jpg" % (directorio, i), "wb") as paresimg:
        paresimg.write(r.content)
    urllib.request.urlretrieve(url, "%s/%s.jpg" % (directorio, i))

Logro crear los archivos jpg pero con 0 bytes. Según entiendo tiene algo que ver con el 'content-disposition', pero no he encontrado la solución. Cualquier ayuda se los agradezco.

1 respuesta 1

2

Descarga de una imagen

Para empezar la URL que construyes no está completa, pues txt_id_imagen=1 no es suficiente para que el servidor sepa qué imagen quieres (es una mera etiqueta para numerarlas en el navegador). El verdadero id de la imagen es dbCode, y la URL correcta para la imagen que dices sería:

http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_id_imagen=1&dbCode=6860368&txt_rotar=0&txt_zoom=10&txt_contraste=0&txt_totalImagenes=158&txt_polarizado=NaN10&txt_contrast=1

No tengo claro cuántos de esos parámetros son obligatorios. He probado a quitar algunos (excepto dbCode), pero el servidor me da un error 400 (petición incorrecta), así que supongo que todos son importantes.

Pero por otro lado, y mucho más importante, además de la URL el servidor examina las cookies que le envías, esperando entre ellas una cookie de sesión. Si ésta no viene, no da error (código 200 OK), pero devuelve un cuerpo vacío.

La cookie de sesión la obtiene el navegador cuando conectas a la página principal, y la reenvía con todas las peticiones posteriores a ese mismo servidor. De este modo el servidor "sabe" que has entrado desde la página principal.

requests puede también ayudarnos con esto, gracias a su soporte para "sesiones". Una "sesión" es un conjunto de peticiones que se dirigen a un mismo servidor y para las que request almacena las cookies y las reenvía automáticamente.

Lo siguiente es una prueba de concepto que se descarga con éxito una de las imágenes:

import requests

url_entrada = 'http://pares.mcu.es/ParesBusquedas20/catalogo/show/1305273'
url_imagen = 'http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_id_imagen=1&txt_rotar=0&txt_zoom=10&txt_contraste=0&txt_totalImagenes=158&dbCode=6860368&txt_polarizado=NaN10&txt_contrast=1'


s = requests.Session()
# La primera petición obtiene las cookies
s.get(url_entrada)

# Las peticiones siguientes que hagamos usando la misma sesión,
# enviarán automáticamente las cookies
r = s.get(url_imagen)

print(r.status_code, r.reason)
print(len(r.content))

Vemos al ejecutarlo un código "200 OK" y que ha descargado 136406 bytes (que podríamos escribir ya en disco y son un JPG válido).

Resto de imágenes

El problema es que para descargar automáticamente el resto de las imágenes, necesitas conocer sus URLs, y no es posible construirlas algorítmicamente como tú estabas haciendo a base de incrementar un contador, pues cada una tendrá un valor diferente de dbCode y no necesariamente secuencial.

La forma de abordar este problema es, una vez descargada la página "principa" (el primer get() de la sesión), analizar el HTML que te devuelve para buscar en él las URLs de las restantes imágenes. Para ello suele usarse la biblioteca BeautifulSoup. Pero es posible que las urls que buscas no vengan en el HTML, sino formando parte del código JavaScript que ejecuta el navegador. Esto complicaría bastante las cosas.

Por suerte no es el caso. En la página que nos ocupa, además de la imagen "en grande" aparece a la derecha la miniatura de las demás páginas. Cada una de esas imágenes está dentro de un <div> con el atributo class="thumbnail", por lo que son fáciles de localizar dentro del html.

En concreto, BeautifulSoup (que se instala con pip install beautifulsoup4) podría encontrar los enlaces a las miniaturas con un código como el siguiente:

import requests
from bs4 import BeautifulSoup

host = 'http://pares.mcu.es'
ruta_entrada = '/ParesBusquedas20/catalogo/show/1305273'
url_entrada = '{}{}'.format(host, ruta_entrada)

s = requests.Session()

# La primera petición obtiene las cookies y la página "índice"
r = s.get(url_entrada)

# En la página "índice" buscamos las urls de las miniaturas
soup = BeautifulSoup(r.content, 'html.parser')

# La función select nos permite expresar lo que buscamos con la sintaxis
# de un selector CSS, en este caso una img que esté dentro de un div
# de la clase thumbnail
imgs = soup.select("div.thumbnail img")

# El resultado es una lista de elementos <img> cada uno con su src
# lo que nos permite encontrar las URLs buscadas
for img in imgs:
    print("{}{}".format(host, img["src"]))

La ejecución de este código produce:

http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=1&txt_rotar=0&txt_contraste=0&dbCode=6860368
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=2&txt_rotar=0&txt_contraste=0&dbCode=6860369
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=3&txt_rotar=0&txt_contraste=0&dbCode=6860262
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=4&txt_rotar=0&txt_contraste=0&dbCode=6860370
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=5&txt_rotar=0&txt_contraste=0&dbCode=6860371
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=6&txt_rotar=0&txt_contraste=0&dbCode=6860372
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=7&txt_rotar=0&txt_contraste=0&dbCode=6860373
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=8&txt_rotar=0&txt_contraste=0&dbCode=6860374

Que son las URLs de las miniaturas. Ya que cada miniatura tiene el mismo dbCode que la imagen grande (creo que la única diferencia es que para obtener la grande hay que añadir &txt_zoom=10 a la URL y quitarle lo de &txt_transformacion=0), ya es trivial combinar esto con la sesión para bajar las imágenes. Te lo dejo a tí :-)

Unos detalles sobre tu código

Los siguientes detalles no tienen ya importancia si vas a reimplementar todo como se ha mostrado antes, pero para tu información:

Tienes una forma muy enrevesada de iterar entre 1 y 4...

lista = range(1,5)
for i in range(len(lista)):
    # ... usar lista[i] en otra expresión

Todo ello es equivalente a:

for i in range(1,5):
   # ... usar i en la expresion

Además, has incluido una llamada a urllib.request.urlretrieve(url, "%s/%s.jpg" % (directorio, i)) innecesaria, pues el archivo ya lo habías descargado y escrito en fichero en las líneas anteriores (si hubiera funcionado, quiero decir). Con urllib.request.urlretrieve() estarías descargándolo de nuevo y sobreescribiendo al previo.

1
  • Mi amigo, muchísimas gracias por tu comentario tan detallado :) Voy a reimplementar el código de acuerdo con lo que me propones. Y te agradezco los detalles sobre mi código, en efecto me pasa mucho que agrego líneas innecesarias o enredo las iteraciones, etc. Errores de principiante sin formación en programación :'( Los tendré en cuenta en adelante. Muchos saludos y de nuevo gracias.
    – JairoM
    el 22 nov. 2018 a las 5:37

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.