0

Quiero obtener información de un sitio web (guardado en un class div) y hay muchos class div con ese nombre

Por el momento este es el codigo

from bs4 import BeautifulSoup
import requests

r = requests.get("https://fortnitetracker.com/profile/all/d1ego-fraggerツ/competitive")
soup = BeautifulSoup(r.content, "lxml")

puntos = soup.find("div", class_="trn-defstat__value").text
print(puntos.strip())

Mi error es

Pero no imprime nada ya que hay más de dos class div con el mismo nombre en todo el sitio web

Estoy trabajando en un proyecto, y me he quedado en pausa debido a este problema, apreciaría mucho sus ayudas

7
  • 1
    Disculpa ya edite la pregunta era el nombre de "trn-defstat__value" el 22 abr. 2021 a las 18:01
  • Y como tendría que hacer ? el 22 abr. 2021 a las 19:04
  • Pues es que no has dicho qué quieres hacer exactamente. Pero es bastante probable que tu error venga de que el html que ves en el navegador no es el mismo que el que obtienes con requests, porque muchas páginas hoy día descargan via http un html que después es modificado dentro del navegador a través de scripts en JS. Desde python no es posible hacer scraping de páginas así a menos que uses selenium (que es una forma de "teledirigir" un navegador real desde python, y es bastante complejo)
    – abulafia
    el 22 abr. 2021 a las 19:15
  • Lo que quiero hacer es imprimir el número que tiene el div class en python el 22 abr. 2021 a las 19:16
  • Y como podría hacer para lograr hacer eso ? el 22 abr. 2021 a las 19:45

1 respuesta 1

3

El problema que tienes no es que haya varios div con el mismo nombre. Eso no es mayor problema, pues si en vez de find() usas find_all() obtendrás una lista con cada uno de esos div. El problema es que ninguno de esos div tiene los valores que te interesa ver:

from bs4 import BeautifulSoup
import requests

r = requests.get("https://fortnitetracker.com/profile/all/d1ego-fraggerツ/competitive")
soup = BeautifulSoup(r.content, "lxml")

divs = soup.find_all("div", class_="trn-defstat__value")
for div in divs:
    print(div.text)

Si ejecutas eso, sale todo en blanco, porque ninguno de los div contiene texto. Todos ellos contienen cosas como esta:

<div class="trn-defstat__value">
{{ getStat(activeStats['all'], 'TRNRating').displayValue }}
<span class="trn-defstat__value-label" :style="{ color: getStat(activeStats['all'], 'TRNRating').metadata.color }">{{ getStat(activeStats['all'], 'TRNRating').metadata.description }}</span>
</div>

que tiene pinta de ser un template en el cual un motor javascript dentro del navegador irá rellenando los datos que obtendrá de una llamada a una API en el servidor.

¿Por qué pasa esto?

Es lo que intentaba explicarte en comentarios. La página que estás obteniendo del servidor está de algún modo incompleta. Contiene scripts escritos en JavaScript que el navegador ejecutará una vez cargada la página, y esos scripts seguirán haciendo peticiones y rellenando el HTML con los resultados, en los lugares marcados en ese template.

Desde python no puedes realizar esas acciones porque Python no tiene un intérprete javascript. La solución general a este problema es usar Selenium con Python, que es una biblioteca que arranca un navegador real (por ejemplo Firefox o Chrome), y desde Python le va dando órdenes para que cargue la página, y cuando ya esté completamente cargada y el javascript se haya ejecutado en el navegador, desde Python se podrá "manejar por control remoto" al navegador, para pedirle el html resultante, o hacer scraping sobre él.

Esta solución es general y funcionaría para cualquier página, pero es muy compleja, requiere instalar drivers especificos para tu navegador, y estudiar cómo se maneja la biblioteca Selenium.

Por suerte a veces hay alternativas más simples...

¿Hay una alternativa más simple?

¡En este caso sí! Si usas las herramientas para desarrolladores de tu navegador Web e inspeccionas el panel de red, verás que hay montones de peticiones que el navegador hace para completar la vista que se muestra al usuario. Muchas de esas peticiones son para bajarse imágenes, o tipos de letra, o estilos CSS, o código javascript... pero una de ellas es para bajarse las estadísticas del jugador que después usará para completar el template. La petición es a la siguiente URL:

https://fortnitetracker.com/api/v0/profile/3df75048-eb63-41e0-95d2-753db1dc28a3/stats?season=16&isCompetitive=true

y la respuesta es un larguísimo JSON con todo tipo de estadísticas.

Vemos que esta URL es una llamada a una API, como yo había supuesto, y que el perfil del jugador es una cadena hexadecimal, 3df75048-eb63-41e0-95d2-753db1dc28a3 en este caso.

Para que la cosa sea más genérica, podemos extraer ese identificador de perfil de la propia página HTML descargada en primer lugar, pues aparece formando parte de ella en esta parte:

  "playerInfo": {
    "accountId": "3df75048-eb63-41e0-95d2-753db1dc28a3",
    "playerName": "d1ego-fraggerツ",
    "displayName": "d1ego-fraggerツ",
    "platformSlug": "epic",
    "externalAccounts": {},
    "socialAccounts": {},
    "isPremium": false,
    "avatarUrl": "https://trackercdn.com/legacycdn/fortnite/ABED988_small.png",
    "epicVerified": false
  },

Así pues:

  1. Vamos a descargar el HTML original, que no nos sirve de mucho porque en los DIV no hay la información buscada, pero sí nos servirá para obtener el accountId mediante una expresión regular
  2. Con ese accountId hacemos otra petición GET a la API y descargamos el json con todas las estadísticas.
  3. Estudiamos la estructura de ese JSON para tratar de extraer la información de interés.

No necesitamos BeautifulSoup para nada de esto

# 1. Descargar HTML y buscar accountID
import requests
import re

r = requests.get("https://fortnitetracker.com/profile/all/d1ego-fraggerツ/competitive")
uid = re.search(r'"accountId": "([0-9a-f-]+)"', r.text).group(1)

# 2. Acceder a la API y obtener JSON con estadísticas
r = requests.get(f"https://fortnitetracker.com/api/v0/profile/{uid}/stats?season=16&isCompetitive=true")
data = r.json()

El JSON es bastante enorme. He descubierto que es una lista con tres diccionarios. Cada diccionario corresponde a una plataforma, siendo el primero para "kbm", el segundo para "gamepad" y el tercero "None". Aparentemente la que muestra la web es la que corresponde al tercero.

Cada uno de esos diccionarios tiene un campo "stats" con las claves 'trios', 'solo', 'duos', 'all' La que muestra la Web sería 'all'.

Así pues, las estadísticas que buscamos saldrían de:

stats = data[2]["stats"]["all"]

Esto es a su vez una lista de diccionarios, todos con la misma estructura. Por ejemplo:

>>> stats[0]
{'displayValue': '75,663',
 'metadata': {'categoryKey': 'general',
  'categoryName': 'General',
  'isReversed': False,
  'key': 'Score',
  'name': 'Score'},
 'percentile': 0.0,
 'value': 75663.0}

Vemos que contiene el nombre de la estadística (Score) y su valor (75663.0), y también la forma en que debe mostrarse en la web, su displayValue ('75,663').

Podemos iterar por todos estos diccionarios para mostrar su nombre y su valor:

for e in stats:
  print(f"{e['metadata']['name']:>16s}: {e['displayValue']}")

Y lo que vemos es:

           Score: 75,663
            Wins: 6
           Top 3: 16
           Top 5: 41
           Top 6: 37
          Top 10: 7
          Top 12: 103
          Top 25: 19
             K/d: 0.41
           Win %: 1.50
         Matches: 389
           Kills: 158
     Time Played: 2d 21h 24m 
       Kills/Min: 0.04
     Kills/Match: 0.41
 Avg. Match Time: 10m 42s
     Score/Match: 194.51
       Score/Min: 18.17
      Top 3/5/10: 64
     Top 6/12/25: 159
3
  • Muchas gracias, pero por que me da error al usarlo con un nombre distinto así: name = input("Ingresa tu ID -> ") part1 = "fortnitetracker.com/profile/all" part = "/competitive" link = part1 + name + part Me sale error : ( list index out of range el 22 abr. 2021 a las 21:24
  • Es que el número de elementos de la lista que tenemos en data aparentemente varía según el usuario. En el ejemplo que puse tenía tres elementos, en otros casos tiene menos. Puedes cambiar data[2] por data[-1], que significa quedarse con el último elemento de la lista y funcionará entonces sin que importe cuántos elementos tiene. Pero tengo que decir también que no entiendo qué representa cada elemento de esa lista, o los diferentes campos de "stats", porque no conozco los diferentes modelos del juego.
    – abulafia
    el 23 abr. 2021 a las 6:30
  • Muchas Gracias, ya esta el programa el 23 abr. 2021 a las 15:16

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.