normalmente cuando se tiene un scroll infinito, se hacen peticiones al servidor,para averiguar eso podemos usar el inspector del navegador (chrome en mi caso)
Abrimos el insepctor en la opcion Network y filtramos por XHR (XMLHttpRequest)
A medida que scrolleamos en la pagina vemos que aparecen estas peticiones al servidor
Entonces cuando hacemos click en esa peticion nos muestra informacion importante
Vemos que se esta haciendo una consulta POST a la URL que se muestra ahi. Adicionalmente podemos ver que informacion se esta enviando al servidor, vemos que una variable es el numero de pagina.
Con esto ya tenemos informacion suficiente para hacer el codigo
import requests
from bs4 import BeautifulSoup
URL = 'https://www.clicars.com/coches-segunda-mano-ocasion'
#Creamos una session http
with requests.Session() as session:
#Creamos una cabecera, ya que enviaremos un dato en formato json
headers = {
'Conetnt-type' : 'application/json'
}
#Esta es la informacion que enviaremos al servidor
#Hacemos un bucle for para obtener la informacion de las 10 primeras paginas
for i in range(1,11):
payload = {
'embeds[]' : 'images',
'page' : i
}
#Hacemos la consulta POST con los datos obtenidos
r = session.post(url = URL, headers = headers,data = payload)
page = r.text
soup = BeautifulSoup(page, "html.parser")
resultado = soup.find(id='vehicles_list')
print('hola')
cars_data=resultado.find_all(class_='car-card-data-container')
for dato in cars_data:
nombre=dato.find(class_='maker ellipsis')
print(nombre.string)
Y el resultado obtenido seria este
hola
Citroën C3
MINI MINI
Volkswagen Golf
Opel Astra
Peugeot 2008
Fiat Doblò Cargo
Nissan QASHQAI
Opel Corsa
Citroën Berlingo
Renault Mégane
Renault Mégane
Renault Mégane
hola
Nissan QASHQAI
Peugeot 508 Hybrid
Opel Mokka X
Renault Mégane
Opel Mokka X
Toyota Yaris
Peugeot Partner
BMW Serie 3
Fiat 500
Nissan JUKE
Citroën C1
Citroën C1
hola
Citroën C1
SEAT Arona
SEAT Arona
Volkswagen Polo
SEAT Ibiza
SEAT Arona
Volkswagen Polo
Peugeot 308
Fiat 500
Opel Corsa
Opel Mokka X
Hyundai i20
hola
Nissan JUKE
Opel Corsa
Opel Corsa
Opel Corsa
Citroën C5 Aircross
Opel Corsa
Opel Corsa
Opel Corsa
Citroën C5 Aircross
Ford C-Max
Citroën C5 Aircross
Citroën C5 Aircross
hola
Nissan QASHQAI
Nissan JUKE
Nissan QASHQAI
Nissan QASHQAI
Nissan QASHQAI
Nissan QASHQAI
Nissan QASHQAI
Nissan QASHQAI
Hyundai IONIQ
Renault Talisman
Kia Stonic
Citroën C4 Cactus
hola
Citroën C3
Citroën C3 Aircross
Citroën C3
Peugeot 5008
Peugeot 3008
Citroën C3
Opel Astra
Citroën C3
Renault Kadjar
Peugeot 5008
Peugeot 2008
Citroën C3 Aircross
hola
Peugeot 2008
Toyota Yaris
DS DS 4
Peugeot 3008
Volkswagen Passat
BMW Serie 2 Gran Tourer
BMW Serie 4
Citroën C3
SEAT Ibiza
Alfa Romeo Giulietta
BMW X3
BMW Serie 3
hola
Toyota Yaris
BMW Serie 2 Gran Tourer
Volvo XC40
Audi A4 Allroad Quattro
Opel Crossland X
Ford Fiesta
Opel Astra
Volkswagen Golf
Hyundai Elantra
Fiat Doblò Cargo
Fiat 500
SEAT Arona
hola
SEAT León
Fiat Doblò Cargo
BMW Serie 5
BMW X3
Mercedes Clase C
BMW X3
Peugeot 208
Audi Q2
Renault Koleos
BMW Serie 4
BMW X1
SEAT Arona
hola
MINI MINI
Toyota Yaris
Mercedes Clase GLC
Mercedes Clase GLA
Peugeot 208
Opel Crossland X
Volvo S60
Dacia Duster
SEAT Arona
Mercedes Clase C
MINI MINI
Mercedes Clase GLE
Espero te sea de utilidad esta informacion.