1

estoy intentando comenzar con algo de web scraping pero estoy teniendo un problema con un sitio donde no entiendo bien si trabajando con requests deberia hacer un get o un post y en caso de deber hacer uno en particular (Creo que probablemente haya que hacer los 2), no estaria encontrando exactamente de donde sacar los parametros que son necesarios: Pagina Web que estoy utilizando: https://steam.tools/itemvalue/ Pero entiendo que si entras de la siguiente manera, el juego y el nombre de usuario ya se ponen por defecto (Siempre intento entrar al mismo juego y a mi usuario, no necesitaria que estos cambien) https://steam.tools/itemvalue/#/Usuario-CodJuego Donde tendriamos por ejemplo: https://steam.tools/itemvalue/#/St4ck-570 (La persona utilizada en el ejemplo es alguien conocido de la comunidad) Ahora Cuando se presiona el boton Fetch se realizan varios metodos o llamadas pero no se identificar que necesito hacer si es que si quiera se puede... introducir la descripción de la imagen aquí En la imagen podemos ver como seria el resultado (Pueden probarlo con el url ustedes mismos) Lo que intente en principio fue esto pero como dije necesitaria ayuda para saber de que cookie o de donde sale el otro parámetro, y si el captcha no es una cookie, si siquiera se puede obtener, ya que si entras a la pagina, la primera vez nunca solicita captcha, pero se necesita como parámetro entiendo. Esto es lo que intente, se que esta mal, devuelve algo que no es exactamente lo que quiero, cualquier ayuda al respecto se agradece, soy muy nuevo en esto en particular, pero tengo experiencia en programación (Estudiante actualmente de Ing. en sistemas), cualquier error que haya cometido al explicar también se agradece para poder ser mas claro con lo que quiero transmitir. Me di cuenta que no explique bien que es lo que quiero hacer pero es simplemente obtener los datos de los objetos en cuestión para hacer un 'analisis' por asi decirlo de como varian los precios de los objetos, cuanto suben, cuanto bajan, etc.

import requests
from bs4 import BeautifulSoup
with requests.Session() as c:
  url = 'https://steam.tools/itemvalue/#/St4ck-570'
  dataPost = {'i':1,'id':'St4ck', 'app':570}
  response = c.get(url, data=dataPost)
  print(response.text)

4
  • Si lo he entendido bien, intentar parsear la tabla que aparece al clickar el botón de "Fetch"? Es correcto?
    – Julio
    Commented el 19 ago. 2020 a las 20:52
  • Devuelve mal porque al parecer la Petición no se esta haciendo correctamente y por eso el raspado no da lo que buscas, Me gustaría que se resuelva este problema.
    – RicharlyxD
    Commented el 20 ago. 2020 a las 3:17
  • @Julio Correcto, el mayor problema me parece es, que primero, al intentar realizar esto no tenia mucha idea de como iba html, ahora entiendo algo mas, y cuando se hace click en el boton Fetch no se realiza un solo get o un solo post, son varios, incluido una verificacion captcha que no creo que sea facil de pasar, menos para alguien inexperto como yo. Commented el 20 ago. 2020 a las 21:11
  • @RicharlyxD La peticion definitivamente esta mal, entiendo que cuando se hace click,el botón, este realiza un POST, pero entre los datos que pasa, esta, el token de verificación del captcha, que no se como conseguirlo, e incluso cuando entras por primera vez a la pagina(o al menos en mi experiencia es asi) nunca te solicita dar click a No soy un robot o simil, pero el token se pasa igual, me parece que es demasiado complicada esta pagina para mi experiencia, y teniendo en cuenta que hay otras con parecida funcionalidad, intentare realizarlo con otra como para comenzar, gracias por su tiempo =. Commented el 20 ago. 2020 a las 21:18

1 respuesta 1

0

Para empezar a aprender has elegido un sitio relativamente complejo... Para iniciarme con web scrapping yo empezaría con contenido estático. En cualquier caso, ahí va un pequeo resumen de lo que tienes que hacer:

El principal escollo es pasar el test de verificación del captcha.

Es posible que con una jarra de cookies adecuada, no tengas que realizar el ejercicio de clickar en las imágenes correctas, pero aun así, tendrás que ser validado por google.

Este sería el proceso (recuerda que puedes ir viéndolo con las herramientas de desarrollador de Firefox o Chrome)

  • Haces una petición GET a https://steam.tools/itemvalue/
  • El el html estático te viene un id para el captcha. Por ejemplo: vc-recaptcha key="'6lLlCRkUAAAAAOk3LLQ14zBY0lylV5Um12J33678'". Guarda este valor.
  • Realiza una petición POST contra google pasando el id de captcha https://www.google.com/recaptcha/api2/userverify?k=6lLlCRkUAAAAAOk3LLQ14zBY0lylV5Um12J33678 (ojo, si no funciona, probablemente necesites pasar el test, o te falte algo en la petición. Quizás el referer sea importate. Examina la petición original y ves probando...
  • La anterior petición te devolverá un JSON con el campo de repsuesta uvresp que tiene dentro una nueva key (por ejemplo 03AGdBq26wOLMALgpQ7MXHOkLUOBuVL....)
  • Haz un GET contra item-value10.appspot.com/ItemValue pasando esta nueva key. Por ejemplo: https://item-value10.appspot.com/ItemValue?i=1&id=St4ck&app=753&captcha=03AGdBq26wOLMALgpQ7MXHOkLUOBuVL...
  • Esto te devolverá un JSON de respuesta, donde te interesan los campos ts y key, que utilizarás en la nueva petición
  • Nueva petición a item-value10.appspot.com/ItemValue pero esta vez pasando el ts y key: Por ejemplo: https://item-value16.appspot.com/ItemValue?i=1&id=St4ck&app=753&ts=1597997319&key=0f14fce3335a5ec5c4c311213b0202ee497d189c
  • Te devolverá un JSON con los datos de la tabla.
  • Parsea en JSON y listo!

Comentar también, que existen "navegadores programables" y que harían por lo tanto el proceso más sencillo. Básicamente le dices a un navegador mediante un lenguaje de programación: arranca, carga esta url, introduce este dato, haz click aquí, etc. Con lo que programarlo suele ser más sencillo. Un ejemplo es Selenium browser. Te recomiendo que busques información de cómo programarlo.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.