0

Buenas necesito descargar una pagina web, lo hice con requests pero el contenido descargado no es igual al que se ve en el navegador, creo que es porque el contenido cambia mediante javascript una vez en el navegador.

Mi codigo:

import requests

r = requests.get("https://www.mipagina.com/")

file = open("archivo2.html", "w")
file.write(r.text)
file.close()

Respuesta

<div>
 <ul class="contenido-dinamico"></ul>
</div>

donde el contenido que necesito esta dentro de <ul></ul>

2
  • 1
    La vía típica (no muy sencilla, pero es lo que hay) es usar Selenium. Mira esta pregunta por ejemplo.
    – abulafia
    el 15 oct. 2019 a las 13:48
  • Gracias entendi que lo que tengo que hacer es renderizarlo, ya sea con selenium o dryscrape u otro. el 15 oct. 2019 a las 23:44

1 respuesta 1

2

Encontré una solución usando https://pypi.org/project/requests-html/

Les comparto la solución.

Primero instale requests-html, esto solo me funciono con python3.7

pip install requests-html
from requests_html import HTMLSession
session = HTMLSession()
r = session.get("mipaginaweb.com")
r.html.render()  # Esta linea ejecuta el javascript que cambia valores del dom de la pagina

# guardo el html con contenido dinamico
file = open("miarchivo.html", "w")
file.write(r.html.html)
file.close()

Respuesta.-

<div>
 <ul class="contenido-dinamico">
  <li>1</li>
  <li>2</li>
  <li>3</li>
  <li>4</li>
  <li>5</li>
  <li>6</li>
  ...
 </ul>
</div>

Espero pueda servir a mas de uno.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.