0

Estoy tratando de webscraping a un sitio web que, cuando visitó, pide credenciales como un pop-up.

Es el tipo de ventana emergente que se obtiene cuando un sitio web quiere HTTP Auth, sin embargo, en Python, no soy capaz de pasar de allí.

introducir la descripción de la imagen aquí

Necesito por lo menos darle cancelar o iniciar sesión directamente desde este.

Utilizo Selenium, web-driver chrome.

¿Alguien podria ayudarme?

2
  • ¿Te refieres a un Alert que pide usuario y contraseña? Entonces mírate: seleniumhq.github.io/selenium/docs/api/py/webdriver/… En estas preguntas es importante que siempre que sea posible dejes un enlace a la página para facilitar las cosas.
    – FJSevilla
    Commented el 29 dic. 2017 a las 16:51
  • mira subi una imagen para que tengas claro a que me refiero. Commented el 29 dic. 2017 a las 16:57

3 respuestas 3

2

Siempre que estemos hablando HTTP basic authentication tenemos varias opciones para llevarlo a cabo usando Selenium:

  • Embeber usuario y contraseña directamente en la url, siguiendo el patrón http://usuario:contraseña@host:

    from selenium import webdriver
    
    user = "admin"
    password = "secret"
    
    driver = webdriver.Firefox()
    driver.get("http://{}:{}@www.tupagina.com".format(user,  password))
    
  • Capturar el Alert y usar el método authenticate:

    from selenium import webdriver
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    
    url = "http://www.tupagina.com/"
    user = "admin"
    password = "secret"
    
    driver = webdriver.Chrome()
    driver.get(url)
    
    WebDriverWait(driver, 10).until(EC.alert_is_present())
    alert = driver.switch_to.alert
    alert.authenticate(user, password)
    
  • Capturar el Alert y usar el método send_keys:

    from selenium import webdriver
    from selenium.webdriver.support.ui import WebDriverWait
    from selenium.webdriver.support import expected_conditions as EC
    from selenium.webdriver.common.keys import Keys
    
    url = "http://www.tupagina.com/"
    user = "admin"
    password = "secret"
    
    driver = webdriver.Firefox()
    driver.get(url)
    
    WebDriverWait(driver, 10).until(EC.alert_is_present())
    alert = driver.switch_to.alert
    alert.send_keys(user + Keys.TAB + password )
    alert.accept()
    

Si solo quieres cerrar el Alert basta con usar el método dismiss:

WebDriverWait(driver, 10).until(EC.alert_is_present())
alert = driver.switch_to.alert
alert.dismiss()

Existen más formas, como usar requests para generar cookies de sesión y usarlas en Selenium.

10
  • utilice el ultimo para cerrarlo y no funciono probare algun otro Commented el 29 dic. 2017 a las 21:38
  • Todo el código está probado con un alert. authenticate da problemas en Firefox pero el resto funcionan sin problemas. ¿Obtienes algún error?
    – FJSevilla
    Commented el 29 dic. 2017 a las 21:48
  • no, no me da error simplemente no hace nada. Commented el 2 ene. 2018 a las 16:30
  • Diego pues es raro que se limite a no hacer nada, sin lanzar ninguna excepción. Si colocas un print(alert) después de alert = driver.switch_to.alertque obtienes en ese print? Habría que asegurarse que estamos tratando con un Alert y no con con otra cosa como un iframe... ¿Existiría la posibilidad de que compartieras la url objetivo?
    – FJSevilla
    Commented el 2 ene. 2018 a las 16:40
  • No quiero hacer el link publico hay alguna manera de pasertelo directamente Commented el 2 ene. 2018 a las 16:44
0

La autenticación BASIC AUTH puede emularse enviando un header de autorización.

Si la combinación usuario/password fuera user1 y mipass, es necesario calcular la cadena en base 64 de user1:mipass que es dXNlcjE6bWlwYXNz.

console.log(btoa('user1:mipass'));

Luego, en tu request, si añades el header

Authorization: Basic dXNlcjE6bWlwYXNz

Va a entrar logueado a la página que quieres scrapear

3
  • porque es necesario pasarlo a base 64 ? Commented el 29 dic. 2017 a las 20:18
  • Es la unica manera de conseguirlo? Commented el 29 dic. 2017 a las 20:27
  • Entiendo que así es como un sitio web desencripta el header cuando empieza como Basic
    – ffflabs
    Commented el 29 dic. 2017 a las 22:22
-1

Puedes usar o siguiente

Replace 'your_username' and 'your_password' with actual credentials

username = "xxxxxx"

password = "xxxxxx"

Construct the URL with embedded credentials

url_with_credentials = f"http://{username}:{password}@TUDIRECCIONWEB"

driver.get(url_with_credentials)

Saludos

1

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.