0

He estado probando diversas formas a través de obtener los id de los campos del formulario de la url: enlace web. Pero por más que lo intento no conecta, dejo el código que tengo para ello aquí debajo:

    def iniciar_sesion():

    payload= {"ctl00_content_txtUsername": "usuario",
               "ctl00_content_txtPassword": "contraseña"
    }
    session_requests = requests.session()

    login_url = "http://www.paymentpractices.net/Login.aspx"

    result = session_requests.post(login_url, data = payload)

Mi duda principal es si estoy haciendo algo mal, ya se mediante la inspección de la página web o el código directamente. Al usar la versión 3.7 de Python no puedo emplear librerías como 'mechanize' la cual tampoco me ha servido.

Muchas gracias.

1 respuesta 1

1

Lo explico un poco por encima.

  1. Declaramos en variables el usuario, la contraseña, la url del login y la url del sitio donde recogeremos los datos.
  2. He usado session para poder mantener las cookies que se generen al acceder a la web y mantener una sesión activa para movernos por el sitio. Accedemos a la página del login para ello.
  3. Inspeccionando la petición desde el navegador (Chrome en mi caso), podemos ver como se hace el login. En este caso debemos enviar 3 datos, usuario, contraseña y un tercero <"ctl00$content$btnSubmit": "LOGIN">. Así que lo los introducimos en el objeto "payload".
  4. Cuando tenemos los datos a enviar ejecutamos la petición POST del login. En ese momento entrará en la web pero no nos interesa guardar el contenido de la Home.
  5. Cuando ya tenemos el login en sesión accedemos por GET ("# Scrape url") a la url de la que extraeremos datos. Parseamos la respuesta del GET con la librería lxml para poder acceder con xPath a los elementos que queramos extraer. Seleccionamos los elementos e imprimimos.

Aquí el código:

import requests
from lxml import html

# 1 Variables a utilizar 
USERNAME = "usuario"
PASSWORD = "contraseña"
LOGIN_URL = "http://www.paymentpractices.net/Login.aspx"
URL = "http://www.paymentpractices.net/Enquiries.aspx"

def main():
    # 2 Get login 
    session_requests = requests.session()
    result = session_requests.get(LOGIN_URL)

    # 3 Create payload
    payload = {
        "ctl00$content$txtUsername": USERNAME, 
        "ctl00$content$txtPassword": PASSWORD, 
        "ctl00$content$btnSubmit": "LOGIN"
    }

    # 4 Perform login
    session_requests.post(LOGIN_URL, data = payload, headers = dict(referer = LOGIN_URL))

    # 5 Scrape url
    result = session_requests.get(URL, headers = dict(referer = URL))
    tree = html.fromstring(result.content)
    enquiries = tree.xpath("//tr[@class='gridRow' or @class='gridAltRow']/td[position()=2]/text()")

    for enquirie in enquiries:
        print(enquirie)

if __name__ == '__main__':
    main()

Si te ha ayudado valora pls. :) Cualquier duda que surja preguntar.

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.