2

Estoy intentando scrapear una página web la cual carga parte de su código con un script JS. La página en cuestión es Oddsportal

Como se ve en la foto, tiene una estructura tipo tabla, y los datos de Bookmakers no se pueden obtener con un requests normal porque no están cargados. Visión principal

Revisando en DevTools, veo que hay una llamada JS que contiene esos datos

DevTools

El problema es que en esa url https://fb.oddsportal.com/feed/match/1-1-UB4JShy2-1-2-yj7dd.dat?_=1605604499620 hay una cadena que no consigo saber cómo se genera. Por partes:

UB4JShy2 es el id del partido y es conocido de antemano 1-1-2-1-2 no se que son, pero son constantes en todas las llamadas 1605604499620 es la fecha en la que se hace la petición en timestamp

yj7dd no tengo ni idea de donde sale, y veo que no es un código único asociado a cada partido, al cabo de un tiempo deja de ser válido y se hace esta llamada con otro. Y con una combinación aleatoria no tienes permiso de acceso.

El problema que yo veo es que no soy capaz de entender como se carga esta información en la web, o como mirarlo usando DevTools. Por un lado, la viñeta que se ve en la foto con nombres, un @ y un link a global no se interpretarlo. Si no estoy equivocado, ese js no es sino una llamada a globals, a la función jsonpCallback. Si busco en globals veo estas dos posibilidades

Callback-1

Callback-2

La primera no se interpretarla, pero de la segunda entiendo que no necesitaría replicar el código para hallar la url, sino que con la variable data lo tendría todo.

En resumen, estoy muy perdido, y me gustaría saber cómo puedo replicar, usando requests, la llamada a ese js para sacar los datos.

Muchas gracias por la ayuda

3
  • Le he estado echando un ojo y he llegado a que esa cadena de letras viene (urlencoded) en el campo page.params.xhash, pero no tengo claro de dónde sale ese valor. Parece que es actualizado cada cierto tiempo pero no me queda claro si la actualización se hace en base a algún dato que mandó el servidor o es computada enteramente en el cliente. El código es muy farragoso y muy largo (y está minificado). La recomendación es que abandones esta vía e investigues el uso de Selenium, que te permite usar Python para "controlar remotamente" un navegador real y acceder a sus variables.
    – abulafia
    Commented el 17 nov. 2020 a las 13:27
  • En el código fuente de la página tienes esto {"id":"lSwFBKal","xhash":"%79%6a%62%63%36","xhashf":"%79%6a%38%65%66","ukeyBase":"E-4562835","isLive":false,"isPostponed":false,"isStarted":false,"isFinished":false,"isFinishedGracePeriod":false,"sportId":1,"versionId":1,"home":"Hartberg","away":"LASK","tournamentId":43446,"eventBonus":[]} como se pasa de eso a yjbc6?
    – puppet
    Commented el 18 nov. 2020 a las 0:46
  • Vale, parece que 79 6a 62 63 36 se convierte en yjbc6. Me puedes decir por favor como has llegado a la conclusion de que era ese campo? Si me lo pones en una respuesta te la acepto.
    – puppet
    Commented el 18 nov. 2020 a las 0:56

1 respuesta 1

2

Cómo averiguar este tipo de cosas

El navegador que estoy usando es Opera, pero la misma funcionalidad estará accesible desde cualquier navegador basado en Blink (Chrome por ejemplo), y Firefox tiene funcionalidad equivalente.

Lo primero es cargar la página, pinchar con el botón derecho en cualquier lugar vacío de la misma y elegir "inspeccionar elemento", para abrir el panel de desarrolladores.

En ese panel elegimos la pestaña de red, y esperamos un poco a que la página haga alguna petición Ajax. Veremos por ejemplo esto:

introducir la descripción de la imagen aquí

Pinchando en una de las peticiones que nos interesan (las dos de abajo), podemos ver detalles sobre la misma. En particular, elegimos la pestaña "initiator" que nos da qué línea de código javascript inició la petición asíncrona (nos da la pila de llamadas en realidad), en este caso:

introducir la descripción de la imagen aquí

Cuanto más arriba en esta pila, más "bajo nivel" será el código. Me interesa ir al alto nivel, así que elijo la última "PageEvent.Update". Pinchando el enlace azul me lleva a la línea de código que contiene esa llamada.

El problema es que el código está "minificado" (todo el script es una sola línea), lo que hace imposible ver nada:

introducir la descripción de la imagen aquí

Por suerte tenemos un botón (azul, arriba) que dice "Pretty-Print". Pulsándolo podemos ver el código formateado, más fácil de leer:

introducir la descripción de la imagen aquí

Y ahí tenemos la parte interesante, la que construye la URL a la que intenta acceder. El fragmento relevante es:

        url += '' + page.params.versionId;
        url += '-' + page.params.sportId;
        url += '-' + page.params.id;
        url += '-' + page.bettingType;
        url += '-' + page.scopeId;
        url += '-' + page.process(page.params.xhash);
        url += '.' + 'dat';

De aquí saco que la variable page.params.xhash contiene la parte final de la URL, pero codificada de algún modo, pues es procesada a través de page.process.

En la consola javascript pruebo a ver el valor de la variable:

> page.params.xhash
"%79%6a%62%61%36"

Tiene la pinta de estar simplemente "url-encoded", de modo que pruebo en un intérprete python a decodificarla:

>>> import urllib.parse
>>> urllib.parse.unquote("%79%6a%62%61%36")
'yjba6'

Y efectivamente obtengo la parte final de la URL a la que se pidieron los datos.

Ahora bien, seguí investigando un poco el código desde el panel de desarrolladores, poniendo breakpoints para que en la próxima actualización de datos se interrumpiera le ejecución permitiéndome inspeccionar variables, etc., busqué la cadena xhash en todo el código, y llegué a la conclusión de que el campo xhash no es el único importante aqui. Hay otros llamados xhashf, urlXHash, xHashSwitchTime, y funciones que operan sobre ellos como getXHash() y shiftXHash(), y varias más.

Todo induce a pensar que hay un valor inicial de page.params.xhash (que se fija, creo desde urlXHash) pero luego se va modificando de una forma que no me queda clara (parece que pasado un tiempo, que puede venir dado quizás por xHashSwitchTime, el valor de xhash se cambia por el de xhashf, pero quizás también el timestamp del momento forme parte del hash final).

Estrategias

En definitiva, yo intentaría lo siguiente:

  • Ya que el valor inicial de xhash se encuentra en el código de la página, yo intentaría sacarlo de ahi con python, y usarlo para crear la URL a la que pedir datos inicialmente.
  • Seguiría pidiendo datos a esa URL hasta que falle. Entonces simplemente volvería a descargar la página completa donde seguramente venga un nuevo valor para xhash y así poder seguir repitiendo el paso anterior.
  • De esta forma nos saltamos el código que re-computa el valor de xhash y que no tenemos claro como va (aunque depurando y por ingeniería inversa podría acabar saliendo también)

Si lo anterior falla yo abandonaría ya la vía de usar solo python y recurriría a "armas pesadas" como Selenium. Usando Selenium aún escribes un script python, pero éste no hace las peticiones directamente, sino que controla un navegador web real (puede ser Chrome) para que descargue la página, espere un rato (para que se ejecute el javascript en ella) y después acceda al DOM. Python se comunica con el navegador para acceder al DOM de la página una vez javascript lo ha modificado y de ahi ya puedes sacar la información que te interesa. Selenium es muy complicado, sobre todo si quieres controlar las esperas para que en lugar de tiempos concretos sean hasta que cierto elemento del DOM esté visible, u otros eventos. Pero a la larga, si vas a hacer scraping de páginas complejas que tiran mucho de javascript puede merecerte la pena entrar en esto.

3
  • Una pregunta @abulafia. Las variables bettingType y ScopeId que conforman también la url veo que aparecen como variables de la página. Por ejemplo bettingtype se referencia desde el principio como page.BettingType. Para sacar esos 2 valores como se haría?
    – puppet
    Commented el 2 mar. 2021 a las 10:49
  • Puedes escribir en la consola javascript page.BettingType y te mostrará su valor
    – abulafia
    Commented el 2 mar. 2021 a las 10:58
  • Pero es un valor variable. Quiero decir, en este ejemplo es "1" porque te está mostrando un 1x2, pero si te mostrara un AH sería un "5"
    – puppet
    Commented el 2 mar. 2021 a las 11:28

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.