1

estoy empezando con el web scrapping y quiero obtener precios de una web que tiene varias páginas, tengo el siguiente código:

from urllib.request import urlopen
from bs4 import BeautifulSoup as soup

url = "https://www.plazavea.com.pe/electrohogar/lavado/"

client = urlopen(url)
page_html = client.read()
client.close()

page_soup = soup(page_html, "html.parser")

with open('./page.html', mode='w') as f:
    f.write(str(page_soup))

page_soup.find("a", { "class": "Showcase__name" })

for div in page_soup.findAll("a", { "class": "Showcase__name" }):
    print(div.text.strip())

for div in page_soup.findAll("div", { "class": "Showcase__priceBox__amount" }):
    inner_div = div.find("div", { "class": "Showcase__salePrice" })
    print(inner_div.text.strip()[3:])

Obtengo descripciones y precios de 20 productos (no todos pertenecen a la página1), pero quiero obtener información de la totalidad de productos de la web. Ya intenté con la url de la página 2

url = "https://www.plazavea.com.pe/electrohogar/lavado?page=2"

pero obtengo exactamente los mismos resultados.

Agradeceré sus sugerencias.

5
  • No me queda del todo claro cómo cambias las url dado que la variable llamada url2 no se ocupa en el bloque de codigo que posteaste.
    – Vichoko
    el 24 jun. 2022 a las 16:59
  • Lo acabo de editar, quise mencionar que intente probando url = "https://www.plazavea.com.pe/electrohogar/lavado?page=2" pero obtuve los mismos resultados.
    – Alexis
    el 24 jun. 2022 a las 18:49
  • as intentado crear un diccionario o una lista con los productos ya escrapiados?? asi no se repetiran.... ejemplo por su href
    – Bryro
    el 25 jun. 2022 a las 0:57
  • Intenta partir por algo mas pequeño y compara los contenidos de la variable page_html con ambas url, a ver si cambia.
    – Vichoko
    el 26 jun. 2022 a las 17:23
  • El contenido de page_html es exactamente el mismo con ambas url.
    – Alexis
    el 28 jun. 2022 a las 22:14

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.