0

Mi problema es que yo quiero sacar los valores de la página de clicars, pero esta página es dinámica en cuanto a que tiene un scroll infinito. Por lo que solo puedo extraer los primeros datos que si se han creado. Adjunto lo que tengo hecho por si acaso:

import requests
from bs4 import BeautifulSoup

url_page = "https://www.clicars.com/coches-segunda-mano-ocasion"

page = requests.get(url_page).text 
soup = BeautifulSoup(page, "html.parser")
resultado = soup.find(id='vehicles_list')
print('hola')
cars_data=resultado.find_all(class_='car-card-data-container')
for dato in cars_data:
    nombre=dato.find(class_='maker ellipsis')
    print(nombre.string)
1
  • Con BeautifulSoup no creo que lo puedas lograr, lo que podrías hacer es usar Selenium y simular el click del botón "Ver más coches" que aparece al final.
    – favcau
    Commented el 12 mar. 2021 a las 18:16

1 respuesta 1

0

normalmente cuando se tiene un scroll infinito, se hacen peticiones al servidor,para averiguar eso podemos usar el inspector del navegador (chrome en mi caso)

Abrimos el insepctor en la opcion Network y filtramos por XHR (XMLHttpRequest)

Inspecto de Chrome

A medida que scrolleamos en la pagina vemos que aparecen estas peticiones al servidor introducir la descripción de la imagen aquí

Entonces cuando hacemos click en esa peticion nos muestra informacion importante

introducir la descripción de la imagen aquí

Vemos que se esta haciendo una consulta POST a la URL que se muestra ahi. Adicionalmente podemos ver que informacion se esta enviando al servidor, vemos que una variable es el numero de pagina.

introducir la descripción de la imagen aquí

Con esto ya tenemos informacion suficiente para hacer el codigo

import requests
from bs4 import BeautifulSoup

URL = 'https://www.clicars.com/coches-segunda-mano-ocasion'


#Creamos una session http
with requests.Session() as session:
    #Creamos una cabecera, ya que enviaremos un dato en formato json
    headers = {
        'Conetnt-type' : 'application/json'
    }
    #Esta es la informacion  que enviaremos al servidor
    #Hacemos un bucle for para obtener la informacion de las 10 primeras paginas  
    for i in range(1,11):
        payload = {
            'embeds[]' : 'images',
            'page' : i
        }
        #Hacemos la consulta POST con los datos obtenidos
        r = session.post(url = URL, headers = headers,data = payload)
        page = r.text
        soup = BeautifulSoup(page, "html.parser")
        resultado = soup.find(id='vehicles_list')
        print('hola')
        cars_data=resultado.find_all(class_='car-card-data-container')
        for dato in cars_data:
            nombre=dato.find(class_='maker ellipsis')
            print(nombre.string)

Y el resultado obtenido seria este

hola
Citroën C3
MINI MINI
Volkswagen Golf
Opel Astra
Peugeot 2008
Fiat Doblò Cargo
Nissan QASHQAI
Opel Corsa
Citroën Berlingo
Renault Mégane
Renault Mégane
Renault Mégane
hola
Nissan QASHQAI
Peugeot 508 Hybrid
Opel Mokka X
Renault Mégane
Opel Mokka X
Toyota Yaris
Peugeot Partner
BMW Serie 3
Fiat 500
Nissan JUKE
Citroën C1
Citroën C1
hola
Citroën C1
SEAT Arona
SEAT Arona
Volkswagen Polo
SEAT Ibiza
SEAT Arona
Volkswagen Polo
Peugeot 308
Fiat 500
Opel Corsa
Opel Mokka X
Hyundai i20
hola
Nissan JUKE
Opel Corsa
Opel Corsa
Opel Corsa
Citroën C5 Aircross
Opel Corsa
Opel Corsa
Opel Corsa
Citroën C5 Aircross
Ford C-Max
Citroën C5 Aircross
Citroën C5 Aircross
hola
Nissan QASHQAI
Nissan JUKE
Nissan QASHQAI
Nissan QASHQAI
Nissan QASHQAI
Nissan QASHQAI
Nissan QASHQAI
Nissan QASHQAI
Hyundai IONIQ
Renault Talisman
Kia Stonic
Citroën C4 Cactus
hola
Citroën C3
Citroën C3 Aircross
Citroën C3
Peugeot 5008
Peugeot 3008
Citroën C3
Opel Astra
Citroën C3
Renault Kadjar
Peugeot 5008
Peugeot 2008
Citroën C3 Aircross
hola
Peugeot 2008
Toyota Yaris
DS DS 4
Peugeot 3008
Volkswagen Passat
BMW Serie 2 Gran Tourer
BMW Serie 4
Citroën C3
SEAT Ibiza
Alfa Romeo Giulietta
BMW X3
BMW Serie 3
hola
Toyota Yaris
BMW Serie 2 Gran Tourer
Volvo XC40
Audi A4 Allroad Quattro
Opel Crossland X
Ford Fiesta
Opel Astra
Volkswagen Golf
Hyundai Elantra
Fiat Doblò Cargo
Fiat 500
SEAT Arona
hola
SEAT León
Fiat Doblò Cargo
BMW Serie 5
BMW X3
Mercedes Clase C
BMW X3
Peugeot 208
Audi Q2
Renault Koleos
BMW Serie 4
BMW X1
SEAT Arona
hola
MINI MINI
Toyota Yaris
Mercedes Clase GLC
Mercedes Clase GLA
Peugeot 208
Opel Crossland X
Volvo S60
Dacia Duster
SEAT Arona
Mercedes Clase C
MINI MINI
Mercedes Clase GLE

Espero te sea de utilidad esta informacion.

1
  • Muchísimas gracias pero porque mandas los datos en formato Json? es lo único que no me queda claro Commented el 13 mar. 2021 a las 11:54

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.