0

Muy buenas,

estoy intentado raspar de forma muy inicial una busqueda en booking para obtener "nombre de hotel" sin éxito en esta web (reducida con bitly, pero en mi código está entera):

https://bit.ly/3pC915C

from bs4 import BeautifulSoup
import requests

response = requests.get(url)

soup = BeautifulSoup(response.content, "lxml")

for item in soup.find_all("div", {"data-testid":"title"}):
    print(item.text)

este código no produce resultados, alguien me podría ayudar indicando porque no localiza ningún resultado? Muchas gracias.

2
  • No produce resultados por que no hay ningún div con la etiqueta data-testid y con valor title. ¿Qué es lo que deseas obtener?
    – Christian
    Commented el 29 dic. 2021 a las 0:45
  • ibb.co/FbxNntH me gustaría localizar el nombre del hotel y el precio Commented el 29 dic. 2021 a las 8:20

1 respuesta 1

0

El servidor no te está devolviendo el mismo contenido al enviar la petición con requests porque no le estás enviando los headers mínimos para que interprete que es un navegador quien la envía.

Haz lo siguiente:

# Establece un user_agent válido, por ejemplo:
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'
headers = {'User-Agent': user_agent}

# Inicia la sesión y manda la petición con esos headers
session = requests.Session()
response = session.get(url, headers=headers)

Por otro lado, te recomiendo utilizar html5lib en lugar de lxml. Te quitará bastantes dolores de cabeza.

1
  • Genial!! muchas gracias!! efectivamente faltaba el header, ya funciona!! Commented el 29 dic. 2021 a las 15:10

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.