estoy empezando con el web scrapping y quiero obtener precios de una web que tiene varias páginas, tengo el siguiente código:
from urllib.request import urlopen
from bs4 import BeautifulSoup as soup
url = "https://www.plazavea.com.pe/electrohogar/lavado/"
client = urlopen(url)
page_html = client.read()
client.close()
page_soup = soup(page_html, "html.parser")
with open('./page.html', mode='w') as f:
f.write(str(page_soup))
page_soup.find("a", { "class": "Showcase__name" })
for div in page_soup.findAll("a", { "class": "Showcase__name" }):
print(div.text.strip())
for div in page_soup.findAll("div", { "class": "Showcase__priceBox__amount" }):
inner_div = div.find("div", { "class": "Showcase__salePrice" })
print(inner_div.text.strip()[3:])
Obtengo descripciones y precios de 20 productos (no todos pertenecen a la página1), pero quiero obtener información de la totalidad de productos de la web. Ya intenté con la url de la página 2
url = "https://www.plazavea.com.pe/electrohogar/lavado?page=2"
pero obtengo exactamente los mismos resultados.
Agradeceré sus sugerencias.
url2
no se ocupa en el bloque de codigo que posteaste.url = "https://www.plazavea.com.pe/electrohogar/lavado?page=2"
pero obtuve los mismos resultados.