1

Quiero detectar automáticamente el event_name, el event_id y el id del conjunto de datos. Todos ellos están ocultos en el de la página de origen. Hasta ahora sé cómo conseguir el guión:

import re

my_event_main_page_address = 'https://data.electionsportal.ge/en/event_type/1/event/38/shape/69898/shape_type/1?data_type=official'
# El siguiente enlace da a todos los distritos ids como "shapes". Se carga cuando se carga my_shape_id_address 
my_shape_id_address = 'https://data.electionsportal.ge/en/json/summary_custom_children_data/69898/shape_type/3/event/38/indicator_type/2?custom_view=true&data_set_id=111&data_type=official'
main_page = s.get(my_event_main_page_address)
soup = BeautifulSoup(main_page.text, 'html.parser')

script = soup.find("script")

print(script)

Que devuelve :

<script type="text/javascript">
//<![CDATA[
window.gon={};gon.is_mobile=false;gon.is_bot=false;gon.is_ie=false;gon.no_data_text="No Data";gon.no_data_color="#CCCCCC";gon.tile_url="https://tile.openstreetmap.org/${z}/${x}/${y}.png";gon.openlayers_img_path="/assets/img/";gon.datatable_i18n_url="";gon.is_voters_list=false;gon.shape_path="/en/json/shape/69898/shape_type/1";gon.children_shapes_path="/en/json/custom_children_shapes/69898/shape_type/3";gon.data_path="/en/json/summary_custom_children_data/69898/shape_type/3/event/38/indicator_type/2?custom_view=true&data_set_id=111&data_type=official";gon.indicator_menu_data_path_summary="/en/json/summary_custom_children_data/69898/shape_type/3/event/38/indicator_type/xxx?custom_view=true&data_set_id=111&data_type=official";gon.indicator_menu_data_path="/en/json/custom_children_data/69898/shape_type/3/event/38/indicator/xxx?custom_view=true&data_set_id=111&data_type=official";gon.summary_view_type_name="summary";gon.indicator_description="District Winners";gon.event_id="38";gon.event_name="2013 Presidential";gon.map_title="Country: Georgia - Districts";gon.parent_shape_id="69898";gon.data_type="official";gon.data_type_live="live";gon.data_set_id="111";gon.data_set_id_most_recent=111;gon.history_url="https://data.electionsportal.ge/en/event_type/1/event/38/shape_type/1/shape/69898/indicator_type/2/view_type/summary/custom_view/true";gon.history_id=2;gon.data_table_path="/en/data_table/event_type/1/event/38/shape/69898/shape_type/1/child_shape_type/3/indicator/null/view_type/summary/summary_view_type/summary/custom_view/true?data_set_id=111&data_type=official&ind_order_explanation=Country%3A+Georgia&indicator_type_id=2";gon.dt_highlight_shape=false;gon.indicator_menu_scale=true;gon.openlayers=true;
//]]>
</script>

Así que uno puede ver que el event_name es event_name="2013 Presidential" pero no sé cómo agarrarlo. Hasta ahora he intentado usar la expresión regular:

pattern = re.compile(r'\.val\("event_name"\);', re.MULTILINE | re.DOTALL)
event_name = soup.find("script", pattern = pattern)
print(event_name)

Pero devuelve None

3
  • ¿Por qué tu expresión regular intenta buscar .val("event_name") cuando el javascript muestra que lo que en realidad buscas es gon.event_name="..."?
    – abulafia
    Commented el 3 oct. 2019 a las 17:19
  • Hola @abulafia !! espero que estés bien!! Era sólo una idea, no sé mucho sobre Regex. Commented el 3 oct. 2019 a las 17:21
  • @abulafia Intente pattern = re.compile(r'gon.event_name\("(.*?)"\)') pero me devuelve None tambien con event_name = soup.find("script", pattern = pattern). Commented el 3 oct. 2019 a las 17:25

1 respuesta 1

1

Quizás usar el .find() de BeautifulSoup no es lo adecuado aqui, pues creo (no estoy seguro) que sólo busca en los nombres de los tags, pero no en su contenido.

Pero el contenido ya lo tienes en script.text, por lo que puedes usar la biblioteca re de Python para extraer el trozo que te interesa:

pattern = re.compile(r'gon.event_name="(.*?)"')
result = pattern.findall(script.text)

result será una lista cuyos elementos son todos los grupos hallados según la expresión regular (el grupo sería lo que va entre paréntesis, que indica en este caso cualquier secuencia de caracteres dentro de las comillas). En tu caso sólo se halla una coincidencia, que estará por tanto en result[0]:

>>> result[0]
'2013 Presidential'

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.