Buen día, estoy intentando extraer datos del siguiente sitio web: https://bodysolid-europe.com/collections/body-solid-equipmenthttps://bodysolid-europe.com/collections/all mediante la librería selenium y funciona, pero solo muestra los datos de los primeros 16 elementos cuando la página tiene más de 500, adjunto el código:
introducir el código aquí
from time import sleep
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
opts = Options()
opts.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36")
opts.add_argument("--headless")
driver = webdriver.Chrome(
service=Service(ChromeDriverManager().install()),
options=opts
)
driver.get('https://bodysolid-europe.com/collections/body-solid-equipment'all')
sleep(3)
titles = driver.find_elements(By.XPATH, '//a[@class="product-item-title"]')
for title in titles:
print(title.text)
El resultado al ejecutar el código es el siguiente:
introducir el código aquí
[Running] python -u "
coderhouse\python\web_scraping_selenium\web_scraping_selenium.py""
Body-Solid Commercial Squat Stand SPR250
Body-Solid 120 kg Olympic Weight Plates in Crate OPTK120
Body-Solid 2 Tier Pro Dumbbell Rack GDR60
Body-Solid 3 Tier Dumbbell Rack GDR363
Body-Solid 3-in-1 Wooden Plyo Box BSTWPBOX
Body-Solid 3-Pair Dumbbell package GDR10-PACK
Body-Solid 3-Pair Kettlebell Rack GDKR50
Body-Solid 3-Tier Dumbbell Rack GDR48
Body-Solid 3-Tier Vinyl/Neoprene Dumbbell Rack GDR34
Body-Solid 45� Back Hyperextension GHYP345
Body-Solid Adaptor for GLGS100 - GLGSWH25
Body-Solid Adjustable Aluminum Nylon Handle NB59A
Body-Solid Adjustable Bench with Cabled Leg Developer GLEG
Body-Solid Adjustable Nylon Stirrup Handle NB59
Body-Solid Aluminum Double Swivel Bar MB100A
Body-Solid Aluminum Lat Bar MB148A
[Done] exited with code=0 in 9.972 seconds
Como se puede observar, solo extrae los datos de los primeros 16 elementos, no sé si tal vez el problema sea que tiene algún límite para que solo obtenga un máximo de 16 datos, si alguien pudiera ayudarme a resolverlo para que logre extraer los datos de los 500 elementos se lo agradecería demasiado.