Bueno estoy tratando de scrapear una página y me pasa que por algún motivo no carga la página entera(creo), y solo me toma algunos elementos con BeautifulSoup
, traté de solucionarlo con Selenium
, pero el inconveniente sigue. Mi objetivo es obtener los dos precios de cada elemento.
browser.get('https://www.lojasrenner.com.br/c/feminino/blusas-e-camisetas/-/N-1w31qx8Z1i71mb4Z1hwylc0/p2')
#bajo con el scroll para forzar que carguen los productos
browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
page = BeautifulSoup(browser.page_source,'html.parser')
try:
articulos = [i.find_all(class_='item_product') for i in page.find_all(class_='wrapper cf results-list js-results-list')][0]
except:
#SIGNIFICA QUE NO SE ENCONTRARON RESULTADOS, PAGINA VACIA
pass
browser.implicitly_wait(50)
element_price = browser.find_elements_by_class_name('price_product')
# class price
prices = [ene.find_elements_by_class_name('price')[0].text for ene in element_price]
Luego note que podía leer el json
pero solo tiene un precio, dicho conjunto, entonces no me sirve esta solución:
for articulo in articulos:
data = json.loads(articulo['data-product-gtm'])
#Solo tiene el precio comun
print(data['price'])
y estas son las formas que intente de obtener el precio:
output:
prices
['R$ 29,90 R$ 25,90',
'R$ 39,90',
'R$ 39,90 R$ 29,90',
'R$ 99,90 R$ 79,90',
'R$ 59,90 R$ 39,90',
'R$ 49,90 R$ 39,90',
'R$ 79,90',
'R$ 89,90 R$ 59,90',
'R$ 29,90',
'R$ 69,90',
'R$ 119,90 R$ 99,90',
'R$ 39,90',
'R$ 59,90 R$ 39,90',
'R$ 89,90 R$ 39,90',
'R$ 69,90 R$ 29,90',
...
'R$ 99,90',
'R$ 59,90',
'R$ 139,90',
'R$ 79,90']
#como se ve en este ejemplo, no me toma el ultimo precio que es 89.90 (tachado)
#De esta manera saque los precios publicados sin el precio tachado
a = browser.find_elements_by_class_name('best_price')
for b in a:
print(b.text)
#De esta manera en teoria debería salir, pero me toma solo los primeros
F = browser.find_elements_by_class_name('old_price')
for b in F:
print(b.text)
#Y el output de este sale cortado asi :
R$ 29,90
R$ 39,90
R$ 99,90
R$ 59,90
R$ 49,90
R$ 89,90
R$ 119,90
R$ 59,90
R$ 89,90
R$ 69,90
Bueno espero que se haya entendido el problema, Solo necesito los dos precios.
Gracias
best_price
yold_price
, es que no todos los items tienenold_price
por lo que luego no sabrías a québest_price
corresponde cadaold_price
obtenido. Veo mejor sacar el texto deprice
con lo que te vienen los dos si están, o sólo uno si sólo haybest_price
, y luego separar esa cadena en los dos precios. En cuanto a por qué no te carga el último, sólo se me ocurre que puede depender de si le ha dado tiempo a cargarlo, pues losold_price
los obtiene dinámicamente con AJAX. Prueba a esperar un poco más antes de la extracción.window.scrollTo(0, 5000)
, fue la única manera de poder tomar todos los preciosonFocus
, es decir, cuando ese elemento está siendo visible, y sólo entonces hacen la llamada AJAX para obtener ese precio. Si haces un scroll demasiado rápido hasta el final de la página, puede que los elementos intermedios no reciban el eventoonFocus
y se queden sin precios. Si esta hipótesis fuese correcta, es posible que te estés perdiendo también precios intermedios aparte del último. Deberías entonces hacer un scroll "a saltitos" para que todos los elementos sean expuestos..move_to_element
,.perform()
e iterar producto a producto, pero creo que haciendo lo que me dijiste sería más rápido, muchas gracias por tu tiempo.