1

Estaba haciendo un pequeño proyecto y es un descargador de imagenes usando web scraping esto con google imagenes, pero ocurrio un problema y es con la url sacada del atributo src cuando revise la url de las imagenes con inspeccionar me abria otra ventana con la imagen, pero cuando la trato de extraer con web scraping parece encriptado o algo parecido, he trato de ver si es posible desencriptarlo pero no he podido. Espero que alguien mucho mas informado sobre este tema pueda ayudarme.

urls:

data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw
==
data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw
==
data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw
==
data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw
==
data:image/gif;base64,R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw
==

Codigo:

import requests
from bs4 import BeautifulSoup

encabezado = {
    "user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/71.0.3578.80 Chrome/71.0.3578.80 Safari/537.36",
}

search = input("Que quieres ver: ")

url_image = "https://www.google.com/search?site=&tbm=isch&source=hp&biw=1873&bih=990&q={}".format(search)

response = requests.get(url_image, headers=encabezado)

soup = BeautifulSoup(response.text, "html.parser")

images = soup.find_all("img", {"class":"rg_i Q4LuWd"}, limit=5)

for image in images:

    url = image.get("src")

    print(url)
2
  • dices que algunos de los dataURL vienen en blanco o todos
    – ffflabs
    el 11 ene. 2021 a las 12:57
  • Perdon si no especifique pero todas vienen asi en blanco el 11 ene. 2021 a las 15:57

2 respuestas 2

4

En google imágenes la URL de los thumbnails está en data-src, no en src.

Si modificas tu código para que bs4 seleccione los elementos que tengan ese atributo y luego lo asignas a la variable te funcionará:

images = soup.find_all("img", {"class": "rg_i Q4LuWd", "data-src": True}, limit=5)

for image in images:
    url = image.get("data-src")
    print(url)
2

La respuesta que te ha dado César es la que te permitirá acceder a las imágenes que deseas. Esta respuesta mía es sólo una mera curiosidad.

¿Qué es lo que viene en el campo src?

Se trata de una cadena codificada en Base64. Esta codificación no es un método de encriptación, sino simplemente una forma de poder transmitir usando caracteres ascii normales cualquier secuencia binaria. En concreto, en este caso, la cadena está codificando una cadena binaria que sería el contenido de un archivo gif, como podemos comprobar si la decodificamos con python:

from base64 import b64decode

codificado = "R0lGODlhAQABAIAAAP///////yH5BAEKAAEALAAAAAABAAEAAAICTAEAOw=="
decodificado = b64decode(codificado)
print(decodificado)

El resultado es:

b'GIF89a\x01\x00\x01\x00\x80\x00\x00\xff\xff\xff\xff\xff\xff!\xf9\x04\x01\n\x00\x01\x00,\x00\x00\x00\x00\x01\x00\x01\x00\x00\x02\x02L\x01\x00;'

Que como ves es una secuencia de bytes que comienza por los caracteres ascii "GIF89a", lo cual es la marca que indica que el contenido es una imagen gif.

¿Qué imagen gif es esa?

Por su tamaño en bytes ya se observa que no puede ser muy grande. De hecho, si la decodificamos con la biblioteca PIL de tratamiento de imágenes, vemos que ese gif se compone ¡de un solo pixel!

from PIL import Image
from io import BytesIO

im = Image.open(BytesIO(decodificado))
print(im)

El resultado de ejecutar esto es:

<PIL.GifImagePlugin.GifImageFile image mode=P size=1x1 at 0x7F64C1AC77F0>

Donde vemos size=1x1. Podemos también consultar qué valor tiene ese pixel mediante im.getpixel((0,0)) para encontrar que su valor es 1. Según la paleta contenida en esta imagen (que podemos obtener con im.getpalette()) la entrada para el color 1 es (255, 255, 255). Es decir, la imagen es un pixel blanco.

¿Por qué?

A partir de aquí es especulación. El hecho es bastante curioso, y observa además que todas las cadenas que has obtenido mediante BeautifulSoup son exactamente la misma. Es decir, todas las imágenes son un pixel de color blanco. Entiendo que ello se debe a que las imágenes reales que mostrará el navegador serán el resultado de haber ejecutado un cierto javascript sobre la página recibida, que mediante peticiones AJAX accederá a las imágenes señaladas por el campo data-src y con ellos sobreescribirá el valor de la cadena en base64 que vino (el pixel blanco).

De este modo, si el usuario tiene deshabilitado javascript, los resultados no serán visibles (sólo se verán los pixeles blancos). También podría estar hecho con la intención de que cuando la imagen señalada por data-src no esté accesible, no se vea el típico icono de imagen rota que mostraría por defecto el navegador si la url de la imagen viniera en src

3
  • Muy buena explicación. Como aporte curioso (por si te apetece investigar, que vas a encontrar cosas divertidas) te diré que el src con el gif del pixel sólo está en las primeras 20 imágenes que se localizan con ese selector ;) el 11 ene. 2021 a las 19:15
  • Muchas gracias por el aporte aprecio mucho ese tiempo que usas para explicar el 11 ene. 2021 a las 20:34
  • Y ya me funciona perfectamente mi programa, de verdad aprecio mucho la ayuda el 11 ene. 2021 a las 20:35

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.