0

A ver estoy haciendo una app y necesito obtener las imágenes de todos los pokemones usando web scraping, ahora cuando busco la etiqueta que contiene a todos los pokemones me devuelve una lista vacia, aquí el código:

from bs4 import BeautifulSoup as bs
import requests as rq

url = rq.get("https://www.pokemon.com/el/pokedex/").text

soup = bs(url, "lxml").body

pokemon = soup.find("ul", class_="results").find_all("li")

print(pokemon)

No se cuál se el problema pero espero me puedan ayudar gracias.

(Opcional) Quiero obtener las imágenes para realizar una base de datos de todos los pokemones para un app, y las pienso descargar en una carpeta para guardar la ruta de cada imagen.

3
  • 1
    Y si utiliza la api de forma normal acaso no devuelve la imagen también?
    – Christian
    Commented el 26 jun. 2021 a las 3:20
  • No lo he intentado tal vez ayude, gracias lo intentare con la api Commented el 26 jun. 2021 a las 12:17
  • No use una api pero ya pude resolver el problema por mi mismo, de todas formas gracias por darme la idea. Commented el 27 jun. 2021 a las 21:39

1 respuesta 1

1

En este caso la pagina contiene errores a la hora de extraer los datos de los pokémon, mas hay otra forma de obtener las imágenes podemos observar que en la pagina las imágenes de los pokémon se guardan por su numero en la pokedex nacional, por ejemplo:

https://assets.pokemon.com/assets/cms2/img/pokedex/detail/001.png podemos ver que Bulbasaur se guarda como 001

entonces si cambiamos el numero obtendremos la imagen del pokemon:

introducir la descripción de la imagen aquí

Si cambiamos este numero hasta el ultimo pokémon de la pokedex podemos obtener todas las imágenes. Entonces el código seria el siguiente:

import requests as rq 

header = {"user-agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"}

url = "https://assets.pokemon.com/assets/cms2/img/pokedex/detail/"

for number in range(1, 899):

    url = "https://assets.pokemon.com/assets/cms2/img/pokedex/detail/" + "{:03d}".format(number) + ".png"

    response = rq.get(url).content

    with open("All Pokemon/{:04d}".format(number) + ".png", "wb") as image:
        image.write(response)

    print("Se ha guardado {:04d}".format(number))

Primero importamos requests para hacer el requerimiento y poder obtener la imagen, además crearemos una variable llamada "header" que es el encabezado esta nos permitirá bajar la probalidad de que la pagina detecte el web scraping y nos pueda bloquear, esto obteniendo el user-agent que es la información de nuestro navegador:

https://www.whatismybrowser.com/es/detect/what-is-my-user-agent En esta pagina pueden obtenerlo

import requests as rq 

header = {"user-agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36"}

url = "https://assets.pokemon.com/assets/cms2/img/pokedex/detail/"

después crearemos un bucle for para generar los números del 1 al 898 que es el ultimo pokémon, utilizaremos la misma url y añadiremos lo siguiente:

for number in range(1, 899):

    url = "https://assets.pokemon.com/assets/cms2/img/pokedex/detail/" + "{:03d}".format(number) + ".png"

el "{:03d}" nos permite rellenar el numero con 2 ceros mas ya que en la url las imágenes se guardan con un par de ceros añadidos, lo pueden verificar mas arriba.

response = rq.get(url).content

    with open("All Pokemon/{:04d}".format(number) + ".png", "wb") as image:
        image.write(response)

    print("Se ha guardado {:04d}".format(number))

Usa requests para hacer los requerimientos de la url, y colocamos ".content" para obtener el contenido binario de la imagen. Después usamos "with" para cerrar o guardar la imagen una vez terminado el proceso, colocamos "wb" para escribir en binario y además añadimos "{:04d}" para agregarle 3 ceros más (esto lo pueden hacer a su gusto) como no manejamos variables con with entonces usamos "as" para hacer referencia a la función open() y una vez hecho eso usamos la función (write) para poder pasar el contenido binario obtenido antes.

Aclaración: No es era mi intención alargarme tanto pero quería explicar todo paso a paso apesar de que el código es muy simple, así los mas novatos podrán entender porque de casa cosa. Muchas gracias

3
  • Buena solución.
    – Christian
    Commented el 28 jun. 2021 a las 1:24
  • Gracias quise responder la pregunta para las personas con el mismo problema :3 Commented el 28 jun. 2021 a las 1:25
  • Esta excelente, muchas gracias por contribuir ^_^
    – Christian
    Commented el 28 jun. 2021 a las 2:01

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.