1

Lo que busco es si es que hay una forma de obtener el código fuente (html) de una URL que ya está abierta en el navegador web (Chrome).

Busco hacer esto mismo:

import urllib2
response = urllib2.urlopen(url)
page = response.read()

Pero con una página abierta desde el navegador.

Me explico: Ese código me funciona perfecto, pero hay algunos casos donde requiero entrar usando user/password a ciertas páginas. Previamente sin que mi usuario y contraseñas quedaran registradas en el navegador, no podía ver la totalidad el html de la página, pero luego de entrar con el usuario y contraseña, es posible ver todo el html que busco.

Entonces mi pregunta es: ¿cómo hacer para obtener el html usando un navegador predeterminado? Para así cuando ejecute el código, sólo tenga que registrarme previamente y me asegure ver todo el html.

4
  • En vez de intentar obtenerlo de Chrome, ¿no te conviene imitar lo que hace Chrome para obtener la página? Es decir, ¿no sería más directo enviarle los datos que necesites enviarle al servidor para que te devuelva la página como si estuvieras logueado?
    – Mariano
    Commented el 17 oct. 2016 a las 8:34
  • Eso mismo se podría hacer usando requests o urllib2. Si pones la url a la que quieres acceder podemos intentar ponerte un ejemplo. Commented el 17 oct. 2016 a las 10:25
  • @kikocorreoso Estoy tratando de hacerlo desde Instagram. El problema es que tiene ciertos niveles de seguridad en cuanto a enviar datos desde un código externo
    – Alan
    Commented el 18 oct. 2016 a las 23:05
  • 1
    Instagram tiene una API. Es el camino correcto. Lo demás podría ser tomado como ilícito y te podrían bloquear. En sus ToS indican "We prohibit crawling, scraping, caching or otherwise accessing any content on the Service via automated means, including but not limited to, user profiles and photos (except as may be the result of standard search engine protocols or technologies used by a search engine with Instagram's express consent)." Commented el 19 oct. 2016 a las 13:54

1 respuesta 1

3

Te recomiendo usar mechanize. Creo que te permite hacer lo que pretendes: Entrar a una página en concreto, rellenar los campos de acceso (usuario y password) y acceder a la página con el usuario validado. Una vez dentro, podrás obtener el código fuente de la página ya validada.

Más info, aquí:

http://wwwsearch.sourceforge.net/mechanize/

Un ejemplo en StackOverflow:

2
  • Hola, el ejemplo no me da una solución, ya que la página a la cual trato de acceder no me genera los forms necesarios para acceder a los inputs
    – Alan
    Commented el 18 oct. 2016 a las 23:02
  • Con eso no contaba... ¿Es una web pública a la que podamos acceder para buscar posibles alternativas?
    – FerPeralta
    Commented el 20 oct. 2016 a las 8:12

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.