1

Buen día, estoy intentando extraer datos del siguiente sitio web: https://bodysolid-europe.com/collections/all mediante la librería selenium y funciona, pero solo muestra los datos de los primeros 16 elementos cuando la página tiene más de 500, adjunto el código:

from time import sleep

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service

from webdriver_manager.chrome import ChromeDriverManager


opts = Options()
opts.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36")
opts.add_argument("--headless")

driver = webdriver.Chrome(
  service=Service(ChromeDriverManager().install()),
  options=opts
)

driver.get('https://bodysolid-europe.com/collections/all')

sleep(3)

titles = driver.find_elements(By.XPATH, '//a[@class="product-item-title"]')
for title in titles:
  print(title.text)

El resultado al ejecutar el código es el siguiente:

[Running] python -u " "
Body-Solid Commercial Squat Stand SPR250
Body-Solid 120 kg Olympic Weight Plates in Crate OPTK120
Body-Solid 2 Tier Pro Dumbbell Rack GDR60
Body-Solid 3 Tier Dumbbell Rack GDR363
Body-Solid 3-in-1 Wooden Plyo Box BSTWPBOX
Body-Solid 3-Pair Dumbbell package GDR10-PACK
Body-Solid 3-Pair Kettlebell Rack GDKR50
Body-Solid 3-Tier Dumbbell Rack GDR48
Body-Solid 3-Tier Vinyl/Neoprene Dumbbell Rack GDR34
Body-Solid 45� Back Hyperextension GHYP345
Body-Solid Adaptor for GLGS100 - GLGSWH25
Body-Solid Adjustable Aluminum Nylon Handle NB59A
Body-Solid Adjustable Bench with Cabled Leg Developer GLEG
Body-Solid Adjustable Nylon Stirrup Handle NB59
Body-Solid Aluminum Double Swivel Bar MB100A
Body-Solid Aluminum Lat Bar MB148A

[Done] exited with code=0 in 9.972 seconds

Como se puede observar, solo extrae los datos de los primeros 16 elementos, no sé si tal vez el problema sea que tiene algún límite para que solo obtenga un máximo de 16 datos, si alguien pudiera ayudarme a resolverlo para que logre extraer los datos de los 500 elementos se lo agradecería demasiado.

1 respuesta 1

0

La lista de productos se va cargando dinámicamente al hacer scroll hasta los últimos items cargados, por lo que una opción muy simple es emular dicho scroll.

Puedes hacer scroll al final de la página mediante JS con:

driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

El tema est́á en cuando parar de hacerlo. En general esto se hace comprovando constantemente la altura de la página y deteniendo el ciclo cuando hacer scroll no ocasione que la altura de la misma se incremente (no se carga más contenido).

En tu caso, dado que conoces el número de productos total (lo puedes obtener del texto de un spam de la propia página) puedes tambien simplmente iterar hasta que obtenerlos todos:

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.firefox.options import Options


URL = 'https://bodysolid-europe.com/collections/all'

opts = Options()
opts.add_argument("--headless")
opts.set_preference("permissions.default.image", 2)

driver = webdriver.Firefox(
  options=opts
)

driver.get(URL)

max_items = int(driver.find_element(By.CLASS_NAME, 'all-product-count').text.split()[0])
print("=" * 80, f"{max_items} items disponibles", "=" * 80, sep="\n")

while len(titles := driver.find_elements(By.XPATH, '//a[@class="product-item-title"]')) < max_items:
    print(f"Obtenidos {len(titles)} de {max_items}, {(len(titles) / max_items * 100):.2f}%")
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(0.5)
print(f"Obtenidos {max_items} de {max_items}, 100.00%")

print("=" * 80, "ITEMS", "=" * 80, sep="\n")
for title in titles:
    print(title.text)

Algunas observaciones:

  • El código es para Firefox porque es el navegador con el que lo he provado, pero todo es lo mismo en Chrome a excepción de las opciones, que realmente no son necesarias para obtener el resultado.

  • Ajusta el tiempo de espera entre iteraciones del ciclo a tu gusto o situción (ancho de banda, etc).

  • Si la imágenes no las vas a usar, desactivar su carga acelerará considerablemente el scraping. Esta es una de las cosas que se hacen de forma diferente en Chrome. En esta pregunta del sitio en inglés mustra como hacerlo, pero no lo he probado:

    Python: Disable images in Selenium Google ChromeDriver

Salida:

================================================================================
517 items disponibles
================================================================================
Obtenidos  16 de 517,  3.09%
Obtenidos  32 de 517,  6.19%
Obtenidos  48 de 517,  9.28%
Obtenidos  64 de 517, 12.38%
Obtenidos  80 de 517, 15.47%
Obtenidos  96 de 517, 18.57%
Obtenidos 112 de 517, 21.66%
Obtenidos 128 de 517, 24.76%
Obtenidos 144 de 517, 27.85%
Obtenidos 160 de 517, 30.95%
Obtenidos 176 de 517, 34.04%
Obtenidos 192 de 517, 37.14%
Obtenidos 208 de 517, 40.23%
Obtenidos 224 de 517, 43.33%
Obtenidos 240 de 517, 46.42%
Obtenidos 256 de 517, 49.52%
Obtenidos 272 de 517, 52.61%
Obtenidos 288 de 517, 55.71%
Obtenidos 304 de 517, 58.80%
Obtenidos 320 de 517, 61.90%
Obtenidos 336 de 517, 64.99%
Obtenidos 352 de 517, 68.09%
Obtenidos 368 de 517, 71.18%
Obtenidos 384 de 517, 74.27%
Obtenidos 400 de 517, 77.37%
Obtenidos 416 de 517, 80.46%
Obtenidos 432 de 517, 83.56%
Obtenidos 448 de 517, 86.65%
Obtenidos 464 de 517, 89.75%
Obtenidos 480 de 517, 92.84%
Obtenidos 496 de 517, 95.94%
Obtenidos 512 de 517, 99.03%
Obtenidos 517 de 517, 100.00%

================================================================================
ITEMS
================================================================================
Best Fitness Ab Board BFAB10
Best Fitness Ab Board Hyperextension BFHYP10
Best Fitness Adjustable Bench BFFID25
...
Test Tabs
TESTING TAB
Weight Tree GWT66
1
  • Muchas gracias bro, si me funcionó, de hecho si necesito las imágenes pero ese ya es otro tema.
    – OskarFdz11
    Commented el 1 jul. a las 20:30

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.