Si, como dice @fredyfx, la página obtiene su información con peticiones POST (ejecutadas desde Javascript) eso implica que bajándote sin más el HTML, los elementos que estás buscando con expresiones XPath simplemente no existen aún, porque se crearán desde Javascript cuando se reciban las peticiones a las respuestas.
Esto puede comprobarse fácilmente. Descargamos la página:
$ wget https://www.airbnb.com/s/Londres--Reino-Unido
Miramos si contiene la cadena "/rooms"
, que es la que tu scraper usa para extraer enlaces:
$ grep /rooms Londres--Reino-Unido
No sale nada. La cadena no aparece en la página. Si en cambio lo ejecutas en un navegador y usas la herramienta "inspeccionar página", sí que verás en el HTML elementos como:
<meta itemprop="url" content="www.airbnb.es/rooms/17247557?location=Londres%2C%20Reino%20Unido">
Estos elementos no estaban en el HTML descargado, sino que aparecen ahí como resultado de cierto javascript ejecutado por el navegador, siguiendo instrucciones contenidas en el propio documento descargado o en scripts externos enlazados desde ese documento.
Por tanto, y en definitiva, para hacer scraping de páginas generadas dinámicamente, es necesario ejecutar el correspondiente javascript, lo que requiere un navegador real pues python no puede ejecutar javascript.
Aunque es un gran inconveniente, no es imposible. Muchos navegadores modernos incorporan la capacidad de ser "controlados" desde un script. Así python podría lanzar un navegador, mandarle cargar esa página (el navegador ejecutaría el javascript y generaría los contenidos dinámicos) y después python puede recuperar el HTML generado, o incluso simular acciones de un usuario tales como "pinchar tal botón", o "mover el ratón encima de tal imagen".
Un paquete para python que permite hacer estas cosas es requests-html
. Por desgracia no veo claro cómo integrarlo en scrapy. Es más bien para bajarse una sola página y hacer scraping sobre ella, y no para hacer spiders que puedan continuar bajándose automáticamente los enlaces encontrados.
Otro, que usa un principio diferente, es scrapy-splash
. Este permite integrar splash
para que sea usado desde scrapy
. splash
es un software que hace de servidor y actúa como proxy entre scrapy y el verdadero servidor. Se baja la página, ejecuta el javascript, y se la sirve a scrapy.
No lo he usado y no puedo decirte qué tal va, pero a priori parece difícil de instalar, pues el método recomendado en el manual es tener splash
ejecutándose en un contenedor docker...