2

Tengo un sitio y hay un cuadro de diálogo desde el que quiero obtener todos los enlaces a los que permite acceder.

introducir la descripción de la imagen aquí

Sabe que proviene de lo siguiente en el código fuente:

<div class="events_menu_tabs" data-id="main">
        <ul>
                <li class=""><a href="#event_type_1" data-type-id="1">Presidential</a></li>
                <li class=""><a href="#event_type_3" data-type-id="3">Parliamentary</a></li>
                <li class=""><a href="#event_type_4" data-type-id="4">Adjara SC</a></li>
                <li class=""><a href="#event_type_5" data-type-id="5">Local</a></li>
                <li class=""><a href="#event_type_2" data-type-id="2">Voters List</a></li>
        </ul>
            <div id="event_type_1">
                <ul class="menu_list">
                        <li>
                                <ul class="menu_item clear">
                                    <li class="official_data">
                              <a href="https://data.electionsportal.ge/en/event_type/1/event/38/shape/69898/shape_type/1?data_type=official" title="Official Data"><img alt="Menu_official" src="/assets/menu_official-12f92a8c3e721f6eec8f989691f70f7a.png" /></a>
                                    </li>
                                    <li class="event_name">
                          <span title="The results of the October 27, 2013 Presidential election. The President of Georgia is elected for a five year term.">
                            <a href="https://data.electionsportal.ge/en/event_type/1/event/38/shape/69898/shape_type/1?data_type=official">2013 Presidential</a>
                          </span>
                                    </li>
                                </ul>
                        </li>
                        <li>
                                <ul class="menu_item clear">
                                    <li class="official_data">
                              <a href="https://data.electionsportal.ge/en/event_type/1/event/2/shape/53148/shape_type/1?data_type=official" title="Official Data"><img alt="Menu_official" src="/assets/menu_official-12f92a8c3e721f6eec8f989691f70f7a.png" /></a>
                                    </li>
                                    <li class="event_name">
                          <span title="The results of the January 5, 2008 Presidential election. The President of Georgia is elected for a five year term. This election was a snap election.">
                            <a href="https://data.electionsportal.ge/en/event_type/1/event/2/shape/53148/shape_type/1?data_type=official">2008 Presidential</a>
                          </span>
                                    </li>
                                </ul>
                        </li>
                </ul>
            </div>
            <div id="event_type_3">
                <ul class="menu_list">
                        <li>
                                <ul class="menu_item clear">
                                    <li class="official_data">
                              <a href="https://data.electionsportal.ge/en/event_type/3/event/50/shape/89486/shape_type/1?data_type=official" title="Official Data"><img alt="Menu_official" src="/assets/menu_official-12f92a8c3e721f6eec8f989691f70f7a.png" /></a>
                                    </li>
                                    <li class="event_name">
                          <span title="The results of the October 30, 2016 ruoff election for 50 majoritarian districts of Parliament. Members of Parliament are elected for four year terms.">
                            <a href="https://data.electionsportal.ge/en/event_type/3/event/50/shape/89486/shape_type/1?data_type=official">2016 Parliamentary - Majoritarian Runoff</a>
                          </span>
                                    </li>
                                </ul>
                        </li>
                        <li>
                                <ul class="menu_item clear">
                                    <li class="official_data">
                              <a href="https://data.electionsportal.ge/en/event_type/3/event/49/shape/89486/shape_type/1?data_type=official" title="Official Data"><img alt="Menu_official" src="/assets/menu_official-12f92a8c3e721f6eec8f989691f70f7a.png" /></a>
                                    </li>
                                    <li class="event_name">
                          <span title="The results of the October 22, 2016 rerun election for 4 precincts in two majoritarian districts of Parliament. Members of Parliament are elected for four year terms.">
                            <a href="https://data.electionsportal.ge/en/event_type/3/event/49/shape/89486/shape_type/1?data_type=official">2016 Parliamentary - Majoritarian Rerun</a>
                          </span>
                                    </li>
                                </ul>
                        </li>
                        <li>
                                <ul class="menu_item clear">
                                    <li class="official_data">
                              <a href="https://data.electionsportal.ge/en/event_type/3/event/46/shape/89486/shape_type/1?data_type=official" title="Official Data"><img alt="Menu_official" src="/assets/menu_official-12f92a8c3e721f6eec8f989691f70f7a.png" /></a>
                                    </li>
                                    <li class="event_name">
                          <span title="The results of the October 8, 2016 election for majoritarian districts of Parliament. Members of Parliament are elected for four year terms.">
                            <a href="https://data.electionsportal.ge/en/event_type/3/event/46/shape/89486/shape_type/1?data_type=official">2016 Parliamentary - Majoritarian</a>
                          </span>
                                    </li>
                                </ul>
                        </li>
    ...

Por lo momento hice :

import requests
import re

with requests.Session() as s:
    webpage = 'https://data.electionsportal.ge/en#landing_menu'
    main_page = s.get(webpage)
    soup = BeautifulSoup(main_page.text, 'html.parser')

    urls = re.findall(r'href=[\'"]?([^\'" >]+)', soup)
    print(', '.join(urls))

2 respuestas 2

3

No estás usando BeautifulSoup de la forma correcta. Aparentemente te limitas a usar una expresión regular para sacar todos los href que haya en el texto de la página, pero para eso no necesitarías BeautifulSoup, directamente podrías buscar sobre la cadena main_page.text. El problema es que de hacerlo así, sacarás todos los href presentes en la página y no los que a tí te interesan (que son los que están dentro de ciertos div).

La forma correcta es usar BeautifulSoup, en lugar de expresiones regulares, para que sea él quien te busque en primer lugar los div que son de tu interés, y seguidamente todos los tags a que haya dentro, y finalmente todas las urls asociadas a cada uno de esos tags.

De modo que vamos por partes

Encontrar los DIV

Observando el HTML de la página, vemos que los div que buscas tienen todos diferente id, aunque el valor de ese id es muy similar, ya que se llaman "event_type_1", "event_type_2", etc. BeautifulSoup puede extraerte todos los div de la página, o sólo los que tengan un id dado. También (como necesitamos ahora) todos los que tengan un id que encaje con una cierta expresión regular. Así:

divs = soup.find_all("div", id=re.compile(r"event_type_\d+"))
print(len(divs))   # Sale que ha encontrado 10

Extraer todos los <a> dentro de esos div

Cada elemento de la lista divs que acabamos de obtener, no es una cadena, sino otro objeto BeautifulSoup, sobre el que se puede hacer de nuevo find_all(). En este caso sería simplemente find_all("a"), para obtener los tags con los hiperenlaces buscados.

Por ejemplo, todos los <a> del primer div serían:

enlaces = divs[0].find_all("a")

El resultado es una lista con cuatro elementos en este caso. Cada uno de esos elementos es un tag <a> que tiene su href. Podemos ver estos href así:

for e in enlaces:
   print(e.get("href"))

Pero vemos que aparecen enlaces duplicados:

https://data.electionsportal.ge/en/event_type/1/event/38/shape/69898/shape_type/1?data_type=official
https://data.electionsportal.ge/en/event_type/1/event/38/shape/69898/shape_type/1?data_type=official
https://data.electionsportal.ge/en/event_type/1/event/2/shape/53148/shape_type/1?data_type=official
https://data.electionsportal.ge/en/event_type/1/event/2/shape/53148/shape_type/1?data_type=official

Ello se debe a que, debido a como está diseñada la página, se puede acceder a esos datos haciendo clic sobre un icono, o sobre una frase (ej: "2013 presidential"). Tanto el icono como la frase llevan a la misma URL, pero son dos tags diferentes y por eso aparecen enlaces duplicados. Podríamos hilar más fino y quedarnos sólo con aquellos que tengan un texto sobre el que hacer click. e.text te devuelve el texto contenido entre el tag de apertura <a> y el de cierre </a>.

for e in enlaces:
   if e.text:
      print("{}: {}".format(e.text, e.get("href")))

Y ahora sale:

2013 Presidential: https://data.electionsportal.ge/en/event_type/1/event/38/shape/69898/shape_type/1?data_type=official
2008 Presidential: https://data.electionsportal.ge/en/event_type/1/event/2/shape/53148/shape_type/1?data_type=official

Es más, podemos ir creando un diccionario en el que las claves sean los textos, y los valores sean las URLs a las que llevan.

Todo junto

En divs teníamos una lista de los divs. Para cada elemento de esa lista hacemos un find_all("a") para sacar todos los elementos de tipo <a>. Para cada elemento de este nuevo resultado miramos si el enlace tiene texto, y en ese caso añadimos una entrada a nuestro diccionario de resultados.

resultado = {}

divs = soup.find_all("div", id=re.compile(r"event_type_\d+"))
for div in divs:
   enlaces = div.find_all("a")
   for e in enlaces:
      if e.text:
        resultado[e.text] = e.get("href")

En resultado tendremos (muestro solo parte):

{'2006 Voters List': 'https://data.electionsportal.ge/en/event_type/2/event/4/shape/53148/shape_type/1?data_type=official',
 '2007 Voters List': 'https://data.electionsportal.ge/en/event_type/2/event/1/shape/53148/shape_type/1?data_type=official',
 '2008 Adjara Supreme Council - Majoritarian': 'https://data.electionsportal.ge/en/event_type/4/event/14/shape/38814/shape_type/2?data_type=official',
 '2008 Adjara Supreme Council - Majoritarian Re-run': 'https://data.electionsportal.ge/en/event_type/4/event/20/shape/38814/shape_type/2?data_type=official',
 '2008 Adjara Supreme Council - Party List': 'https://data.electionsportal.ge/en/event_type/4/event/13/shape/38814/shape_type/2?data_type=official',
 '2008 Adjara Supreme Council - Party List Re-run': 'https://data.electionsportal.ge/en/event_type/4/event/19/shape/38814/shape_type/2?data_type=official',
...
}
1

Buenas yo alguna lo hice con la librería requests_html

Lo primero que harias seria instalarte la libreria con el siguiente comando:

   pip install requests_html

Tomando el ejemplo que diste yo lo haría así:

from requests_html import HTML
# guardas en una variable el codigo html que ya tienes en la variable doc
doc = """<div class="events_menu_tabls" data-id="main"> ...</div>""""  
html = HTML(html=doc)
print(html.links)

El resultado seria lo siguiente

Enlaces encontrados :

{
  'https://data.electionsportal.ge/en/event_type/1/event/2/shape/53148/shape_type/1?data_type=official',
  'https://data.electionsportal.ge/en/event_type/3/event/49/shape/89486/shape_type/1?data_type=official',
  'https://data.electionsportal.ge/en/event_type/1/event/38/shape/69898/shape_type/1?data_type=official',
  'https://data.electionsportal.ge/en/event_type/3/event/46/shape/89486/shape_type/1?data_type=official',
  'https://data.electionsportal.ge/en/event_type/3/event/50/shape/89486/shape_type/1?data_type=official'
  }

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.