Estoy practicando Web Scraping con requests
(para hacer la petición) y BeautifulSoup
para hacer el parseo, mis pruebas funcionaban perfectamente hasta que me encontré con una página web que se podría decir "Con una estructura rara". A continuación les muestro:
Página a la que quiero hacer Scraping
Quiero hacer web Scraping a esta web, descargando cada árticulo de noticias que están dentro de una etiqueta <section>
que vendría a ser el contenedor total.
NOTA : Realmente la pagina tiene dos elementos <section>
, en toda mi explicación sólo me estoy refiriendo al de los artículos como lo señala la imagen.
Al momento de hacer el Scraping, me doy cuenta de que no devuelve nada. Es en ese momento que analizo el código fuente HTML de la página y me encuentro con que la etiqueta <section>
(que contenía esos artículos) no existía, esa etiqueta se generaba con código JavaScript, y es por eso que mi parseador no podía encontrar la información que quería. Con esto me di cuenta que el código fuente de una página no es necesariamente igual que el que se muestra cuando le doy Inspeccionar
en la sección Elements de la DevTools.
Entonces mi consulta es la siguiente: ¿Hay alguna forma de poder hacer Scraping a esa página? o ¿ya fue?.
Después de toda la explicación dejo mi código por si quieren probarlo.
scrolldown
suelen mostrarte más información que mediantebeautifulsoup
no podrás obtener, para estos casos es recomendable utilizar selenium. Dependiendo que browser utilizas deberás descargar el driver indicado, chrome(chromedriver) o firefox(geckodriver)