Descarga de una imagen
Para empezar la URL que construyes no está completa, pues txt_id_imagen=1
no es suficiente para que el servidor sepa qué imagen quieres (es una mera etiqueta para numerarlas en el navegador). El verdadero id
de la imagen es dbCode
, y la URL correcta para la imagen que dices sería:
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_id_imagen=1&dbCode=6860368&txt_rotar=0&txt_zoom=10&txt_contraste=0&txt_totalImagenes=158&txt_polarizado=NaN10&txt_contrast=1
No tengo claro cuántos de esos parámetros son obligatorios. He probado a quitar algunos (excepto dbCode
), pero el servidor me da un error 400 (petición incorrecta), así que supongo que todos son importantes.
Pero por otro lado, y mucho más importante, además de la URL el servidor examina las cookies que le envías, esperando entre ellas una cookie de sesión. Si ésta no viene, no da error (código 200 OK), pero devuelve un cuerpo vacío.
La cookie de sesión la obtiene el navegador cuando conectas a la página principal, y la reenvía con todas las peticiones posteriores a ese mismo servidor. De este modo el servidor "sabe" que has entrado desde la página principal.
requests
puede también ayudarnos con esto, gracias a su soporte para "sesiones". Una "sesión" es un conjunto de peticiones que se dirigen a un mismo servidor y para las que request
almacena las cookies y las reenvía automáticamente.
Lo siguiente es una prueba de concepto que se descarga con éxito una de las imágenes:
import requests
url_entrada = 'http://pares.mcu.es/ParesBusquedas20/catalogo/show/1305273'
url_imagen = 'http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_id_imagen=1&txt_rotar=0&txt_zoom=10&txt_contraste=0&txt_totalImagenes=158&dbCode=6860368&txt_polarizado=NaN10&txt_contrast=1'
s = requests.Session()
# La primera petición obtiene las cookies
s.get(url_entrada)
# Las peticiones siguientes que hagamos usando la misma sesión,
# enviarán automáticamente las cookies
r = s.get(url_imagen)
print(r.status_code, r.reason)
print(len(r.content))
Vemos al ejecutarlo un código "200 OK" y que ha descargado 136406 bytes (que podríamos escribir ya en disco y son un JPG válido).
Resto de imágenes
El problema es que para descargar automáticamente el resto de las imágenes, necesitas conocer sus URLs, y no es posible construirlas algorítmicamente como tú estabas haciendo a base de incrementar un contador, pues cada una tendrá un valor diferente de dbCode
y no necesariamente secuencial.
La forma de abordar este problema es, una vez descargada la página "principa" (el primer get()
de la sesión), analizar el HTML que te devuelve para buscar en él las URLs de las restantes imágenes. Para ello suele usarse la biblioteca BeautifulSoup
. Pero es posible que las urls que buscas no vengan en el HTML, sino formando parte del código JavaScript que ejecuta el navegador. Esto complicaría bastante las cosas.
Por suerte no es el caso. En la página que nos ocupa, además de la imagen "en grande" aparece a la derecha la miniatura de las demás páginas. Cada una de esas imágenes está dentro de un <div>
con el atributo class="thumbnail"
, por lo que son fáciles de localizar dentro del html.
En concreto, BeautifulSoup
(que se instala con pip install beautifulsoup4
) podría encontrar los enlaces a las miniaturas con un código como el siguiente:
import requests
from bs4 import BeautifulSoup
host = 'http://pares.mcu.es'
ruta_entrada = '/ParesBusquedas20/catalogo/show/1305273'
url_entrada = '{}{}'.format(host, ruta_entrada)
s = requests.Session()
# La primera petición obtiene las cookies y la página "índice"
r = s.get(url_entrada)
# En la página "índice" buscamos las urls de las miniaturas
soup = BeautifulSoup(r.content, 'html.parser')
# La función select nos permite expresar lo que buscamos con la sintaxis
# de un selector CSS, en este caso una img que esté dentro de un div
# de la clase thumbnail
imgs = soup.select("div.thumbnail img")
# El resultado es una lista de elementos <img> cada uno con su src
# lo que nos permite encontrar las URLs buscadas
for img in imgs:
print("{}{}".format(host, img["src"]))
La ejecución de este código produce:
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=1&txt_rotar=0&txt_contraste=0&dbCode=6860368
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=2&txt_rotar=0&txt_contraste=0&dbCode=6860369
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=3&txt_rotar=0&txt_contraste=0&dbCode=6860262
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=4&txt_rotar=0&txt_contraste=0&dbCode=6860370
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=5&txt_rotar=0&txt_contraste=0&dbCode=6860371
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=6&txt_rotar=0&txt_contraste=0&dbCode=6860372
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=7&txt_rotar=0&txt_contraste=0&dbCode=6860373
http://pares.mcu.es/ParesBusquedas20/ViewImage.do?accion=42&txt_transformacion=0&txt_id_imagen=8&txt_rotar=0&txt_contraste=0&dbCode=6860374
Que son las URLs de las miniaturas. Ya que cada miniatura tiene el mismo dbCode
que la imagen grande (creo que la única diferencia es que para obtener la grande hay que añadir &txt_zoom=10
a la URL y quitarle lo de &txt_transformacion=0
), ya es trivial combinar esto con la sesión para bajar las imágenes. Te lo dejo a tí :-)
Unos detalles sobre tu código
Los siguientes detalles no tienen ya importancia si vas a reimplementar todo como se ha mostrado antes, pero para tu información:
Tienes una forma muy enrevesada de iterar entre 1 y 4...
lista = range(1,5)
for i in range(len(lista)):
# ... usar lista[i] en otra expresión
Todo ello es equivalente a:
for i in range(1,5):
# ... usar i en la expresion
Además, has incluido una llamada a urllib.request.urlretrieve(url, "%s/%s.jpg" % (directorio, i))
innecesaria, pues el archivo ya lo habías descargado y escrito en fichero en las líneas anteriores (si hubiera funcionado, quiero decir). Con urllib.request.urlretrieve()
estarías descargándolo de nuevo y sobreescribiendo al previo.