0

Abre en el navegador los enlaces de la página, pero no encuentro las id principal para todas las demás id de los links

import requests, webbrowser, bs4
print('Searching...')
res = requests.get('https://www.mismarcadores.com/futbol/chile/primera-division/resultados/')
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text, 'html.parser')
>#Aqui va class id de la pagina pero no consigo obtener el id correcto del html porque ? o como se trabaja con este tipo de paginas
linkElems = soup.select('')  
numOpen = min(20, len(linkElems))
for i in range(numOpen):
    urlToOpen = 'https://www.mismarcadores.com/partido/' + 
    linkElems[i].get('id')    
    print('Opening', urlToOpen)
    webbrowser.open(urlToOpen)
7
  • Hola @Fscode, Bienvenido a Stack Overflow en Español. ¿Quieres obtener los links de la página? Commented el 27 feb. 2020 a las 13:51
  • Siiii, porfa tu tienes experiencia porfa que pasas debo seguir
    – user160180
    Commented el 27 feb. 2020 a las 13:54
  • Estuve leyendo tu código, y revisando la página. donde dice /partido/, ¿Qué es lo que realmente quieres hacer?, sospecho que clickear un partido y ver los detalles en la página que se abre. Sí lo que quieres hacer es esa simulación, lo recomendable sería usar Selenium Commented el 27 feb. 2020 a las 14:02
  • cada link de cada partido jugado tiene un id entonces yo quiero es obtener los id desde la pagina html y agregar a la direccion https : // www.mismarcadores.com / partido / + id
    – user160180
    Commented el 27 feb. 2020 a las 14:14
  • 1
    Fscode, el problema es que no puedes capturar la información que deseas de ese modo, ya que cuando haces el requests.get, la información aún no está en la página porque es generada mediante javascript. En este enlace, una solución alternativa: es.stackoverflow.com/questions/95496/…
    – RodrigoN
    Commented el 27 feb. 2020 a las 14:46

1 respuesta 1

0

Usando Selenium

Para obtener tener los partidos que muestra la página principal puedes hacerlo de esta manera: find_elements_by_css_selector : Devolverá una lista de WebElements. Si usas find_element (Devolverá la primer coincidencia que se encuentre en la página).

Cuando trabajo con clases que contienen nombres con espacios, como event__match event__match--static event__match--oneLine. Suelo usar css_selector anteponiendo un . al iniciar el nombre de la clase y relleno los espacios con . .

Entonces para obtener todos los elementos haría:

 aux_ids = browser.find_elements_by_css_selector('.event__match.event__match--static.event__match--oneLine')

Ahora podemos iterar sobre esta lista de WebElements:

Vamos a mostrar los partidos que muestra la página:

for aux in aux_ids:
    print("*"*100)
    print(aux.find_elements_by_css_selector('.event__participant.event__participant')[0].text,
          aux.find_element_by_css_selector('.event__scores.fontBold').text.replace('\n',''),
    aux.find_elements_by_css_selector('.event__participant.event__participant')[1].text)    


****************************************************************************************************
O'Higgins 1 - 3 U. Española
****************************************************************************************************
Curicó Unido 1 - 0 Colo Colo
****************************************************************************************************
Audax 0 - 1 Palestino
****************************************************************************************************
U. De Chile 1 - 1 Coquimbo
****************************************************************************************************
La Serena 3 - 0 S. Wanderers
****************************************************************************************************
Everton 0 - 1 U. La Calera  

Ahora en vez de mostrarlos, podemos guardarlos en una lista y vamos a guardar el bendito id que necesitábamos:

partidos = []    
for aux in aux_ids:
    partidos.append([aux.find_elements_by_css_selector('.event__participant.event__participant')[0].text,
                     aux.find_element_by_css_selector('.event__scores.fontBold').text.replace('\n',''),
                     aux.find_elements_by_css_selector('.event__participant.event__participant')[1].text,
                     aux.get_attribute('id')])       

En este momento tenemos una lista con los partidos y su resultado (en el momento que cargó la página). Ahora por comodidad creo un DataFrame con la lista de listas que tenemos (esto es a gusto de cada uno).

df = pd.DataFrame(partidos)
df.rename(columns={0:'local',1:'resultado(PARCIAL)',2:'visitante',3:'id'},inplace=True)

Ahora nos falta borrar de id (ej: 'g_1_StNsW7lf'), el prefijo g_1_ para poder tener la url del partido.

Hay varias opciones para hacer esto, lo normal sería hacer slicing:

 df['id'] = df['id'].apply(lambda x:x[4:])

Si por alguna razón le agregan un prefijo distinto 'g_10_', esta forma no nos estaría sirviendo, por eso otra opción puede ser haciendo split de '_'. De esta manera nos devuelve :[g, 1, StNsW7lf], y estaríamos tomando el elemento de la posición 2. y lo haríamos de la siguiente manera:

df['id'] = df['id'].apply(lambda x:x.split('_')[2])

Y finalmente podemos dar de alta una nueva columna con el link del partido, donde tenemos que agregar el link 'https://www.mismarcadores.com/partido/':

url_aux = 'https://www.mismarcadores.com/partido/'

df['link'] = url_aux + df['id']

Ahora si mostramos nuestro DataFrame:

local     resultado(PARCIAL)    visitante   id          link
O'Higgins      1 - 3            U. Española StNsW7lf    https://www.mismarcadores.com/partido/StNsW7lf
Curicó Unido   1 - 0            Colo Colo   YsUYXTJs    https://www.mismarcadores.com/partido/YsUYXTJs
Audax          0 - 1            Palestino   WYs7xABQ    https://www.mismarcadores.com/partido/WYs7xABQ
U. De Chile    1 - 1            Coquimbo    M3MoVR30    https://www.mismarcadores.com/partido/M3MoVR30
La Serena      3 - 0            S. Wanderers    M3fL0bzl    https://www.mismarcadores.com/partido/M3fL0bzl

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.