0

Quiero obtener datos en particular de thingiverse: Titulo, Creación, Makes y Remixes, pero al hacer la búsqueda del link para cada producto no lo reconoce. Espero puedan orientarme (Gracias!) Esto es lo que he intentado:

driver.get('https://www.thingiverse.com/search?q=robot+hands&type=things&sort=relevant')

while True:
    links_productos = driver.find_elements(By.XPATH, '//div[@class="SearchResult__searchResultItem--c4VZk"]')
    links_de_la_pagina = []
    for tag_a in links_productos:
                links_de_la_pagina.append([tag_a.find_element_by_class_name('ThingCardHeader__headerContainer--3vy1c').find_element_by_tag_name('a').get_attribute('href')])

    for link in links_de_la_pagina:
        try:
            driver.get(link)
            titulo = driver.find_element_by_xpath('//div[@class="ThingPage__modelName--3CMsV"]').text
            creacion = driver.find_element(By.XPATH,'//div[@class="ThingPage__createdBy--1fVAy"]').text
            makes = driver.find_element(By.XPATH,'//div[@class="MetricButton__metric--FqxBi"]').text
            remixes = driver.find_element(By.XPATH,'//div[@class="MetricButton__tabButton--2rvo1"]').text
            print(titulo)
            print(creacion)
            print(makes)
            print(remixes)
            driver.back()
        except Exception as e:
            print (e)
            driver.back()
        try:
            boton_siguiente = driver.find_element(By.XPATH, '//span[text()="More"]')
            boton_siguiente.click()
        except:
            break
0

1 respuesta 1

1

Recordemos que Selenium controla un navegador. Lo que significa que al igual que cuando navegas por internet, no es un proceso instantáneo. Por cada vez que cargas una página nueva debes esperar un tiempo antes de poder interactuar con ella. Es por esa razón que en más de una ocasión obtuviste errores que te decían que los elementos no existen.

Entiendo que probablemente decidiste usar el While por ese motivo, pero no es el mejor enfoque. La manera de decirle a Selenium que espere a que exista un elemento y que lo guarde en una variable es la siguiente:

# 10 es el tiempo máximo que esperará
elemento = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.CSS_SELECTOR, 'a.ThingCardBody__cardBodyWrapper--ba5pu'))
    # Nota que la función toma un solo parámetro. Entonces el selector se pasa entre paréntesis adicionales
)

Arreglando un poco el código consigues algo funcional que no genera errores:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
    
driver = webdriver.Chrome()
    
driver.get('https://www.thingiverse.com/search?q=robot+hands&type=things&sort=relevant')
    
links_productos = WebDriverWait(driver, 10).until(
    EC.presence_of_all_elements_located((By.XPATH, '//div[@class="SearchResult__searchResultItem--c4VZk"]'))
)
links_de_la_pagina = []
for tag_a in links_productos:
    # Aquí hubo una corrección. Antes, por accidente incluiste corchetes y te daban un link inválido
     links_de_la_pagina.append(tag_a.find_element_by_css_selector('a.ThingCardBody__cardBodyWrapper--ba5pu').get_attribute('href'))
    print(links_de_la_pagina[-1])
    
for link in links_de_la_pagina:
    
    driver.get(link)

    titulo = WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.XPATH, '//div[@class="ThingPage__modelName--3CMsV"]'))
    ).text
    creacion = driver.find_element(By.XPATH,'//div[@class="ThingPage__createdBy--1fVAy"]').text
    makes = driver.find_element(By.XPATH,'//div[@class="MetricButton__metric--FqxBi"]').text
    remixes = driver.find_element(By.XPATH,'//div[@class="MetricButton__tabButton--2rvo1"]').text
    print(titulo)
    print(creacion)
    print(makes)
    print(remixes)

Si quieres asegurarte de obtener un elemento lo ideal es hacer que Selenium espere por el. En algunos casos, si necesitas muchos elementos, basta con pedirle que espere por uno solo. En otros no funcionará, por ejemplo las imágenes tardan más en cargar, así que es probable que no te quede otra que esperar.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.