1

Hoy empiezo con BeautifulSoup estaba usando usando SCRAPY para extraer los datos de OER pero tengo 3 problemas con:


1. La cantidad de: visitas, veces guardados.. porque usaba xpath algo como /dl[2]/dd[2]/

  • con scrapy

    cant_visitas = response.xpath("////i[@class='fa fa-eye']/following-sibling::span[1]/text()").extract_first()

  • con BeautifulSoup no puedo extraer el valor (alguien sabe si es posible usar un tag con espacios)

    cant_guardados = soup.find('li', {'id':'Number of saves'})#.find('span').get_text()


2. Y las listas como es el caso de los grados .getall() (con retorno TIPO JSON) en BeautifulSoup parece que es find_all solo que no se como hacer lo porque usando xpath "todo es anidado dl[2]/dd[3]"

  • con scrapy

    grados = response.xpath('normalize-space(//div[@class="material-details"]/dl[2]/dd[3]/text())').getall()

  • con BeautifulSoup

    grados = soup.find('div', 'material-details').select('dl:nth-of-type(2) > dd:nth-of-type(3)')


3. Como podría extraer el valor de promedio de la valoracion, puesto que se encuentra como atributo del div

cant_estrellas = soup.find('div', 'item-rating').find('div', 'stars').find_all('i', 'active-star') #div data-rating-value
cant_estrellas = len(cant_estrellas)

Esto trae el numero de estrellas activas no su valoracion real


P.D: creo que lo mas parecido a xpath en BeautifulSoup es el select pero lo mas seguro es que me equivoque

1 respuesta 1

1

Voy a proponer una solución utilizando requests y BeautifulSoup en la que voy a sugerir utilizar diccionarios o listas:

Hacemos la petición correspondiente a la url solicitada

import requests
from bs4 import BeautifulSoup

url = 'https://www.oercommons.org/courses/randomized-synthesis-project'
soup = BeautifulSoup(requests.get(url).text,'html.parser')

1) La cantidad de visitas, veces guardados

Definimos un diccionario en el que vamos a guardar el resultado de cada item. counter_items es una lista de etiquetas y cadenas de caracteres (un objeto ResultSet), que es el resultado de llamar al método find_all(). Para acceder al valor de cada atributo de un elemento, en este caso "title", se utiliza .get().

counter_items = soup.find_all(class_='counter-item')
result = dict()
for item in counter_items:
    titulo = item.get('title')
    valor = item.span.text
    result[titulo] = valor

Para acceder a un valor particular puedes hacer print(result['Number of visits']) ==> '62'

Su respectiva salida:

>>{'Number of visits': '62', 'Number of saves': '3', 'Number of comments': '0'}

2) Para la descripción

Esta es la parte más engorrosa, ya que lo que hice, fue intentar estructurar un poco los resultados. Con ayuda de una list comprehension, obtenemos todos los elementos dt de la clase materials-details-first-part, strip() y replace son metodos para limpiar un poco los datos, .text es una propiedad de BeautifulSoup que devuelve el texto. por ejemplo <a href='#foo.com'> texto del link</a> (si en ese elemento usamos .text , nos devuelve 'texto del link')

Como la descripción esta dividida en dos párrafos, tenemos que unir los dos resultados en una lista sola. Por un lado los títulos (dts+dts_segunda), y por otro lado el contenido(dds+dds_segunda) de cada título

dts = [i.text.strip().replace(':','') for i in soup.find_all(class_='materials-details-first-part')[0].find_all('dt')]
dds = [i.text.strip().replace('\n','') for i in soup.find_all(class_='materials-details-first-part')[0].find_all('dd')]

dts_segunda = [i.text.strip().replace(':','') for i in soup.find_all(class_='material-details-second-part')[0].find_all('dt')]
dds_segunda = [i.text.strip().replace('\n','') for i in soup.find_all(class_='material-details-second-part')[0].find_all('dd')]

result_dts = dts+dts_segunda
result_dds = dds+dds_segunda

Ahora definimos un diccionario para guardar la descripción completa. Con ayuda de la función zip(), obtenemos un diccionario donde cada clave tiene su valor correspondiente.

materials_details = dict()
for dt,dd in zip(result_dts,result_dds):
    materials_details[dt]=dd

Si quieres saber por ejemplo el Level, print(materials_details['Level']) >>'Computer Science'

Salida:

{'Subject': 'Computer Science',
 'Level': 'Lower Primary',
 'Grades': 'Kindergarten, Grade 1, Grade 2',
 'Material Type': 'Activity/Lab, Lesson',
 'Author': 'Boot up PD',
 'Provider': 'Boot Up PD',
 'Date Added': '09/23/2019',
 'License': 'Creative Commons Attribution-NonCommercial-NoDerivs 4.0',
 'Language': 'English',
 'Media Format': 'Downloadable docs, Text/HTML'}

3) Promedio de valoración:

Bueno esta es la parte más sencilla ya que solo se obtiene de la siguiente manera: .find devuelve un (1) solo elemento. a diferencia de .find_all. Como queremos el valor del atributo 'data-raiting-value', se lo pedimos con .get(). y con eso tendríamos lo que necesitabamos.

raiting = soup.find(class_='stars').get('data-rating-value')

print(raiting) >> 0.0

pd: Si no te gusta trabajar con diccionarios o simplemente no te sientes cómodo, puedes definir una lista, y para guardar los datos como "fila" dentro de la misma. ej:

counter_items = soup.find_all(class_='counter-item')
result = []
for item in counter_items:
    titulo = item.get('title')
    valor = item.span.text
    result.append([titulo,valor])

result[0] --> ['Number of visits', '62']

Espero que haya podido resolver tus dudas

1
  • 1
    vaya yo lo esta haciendo asi cant_comentarios = soup.find('li', {'title':'Number of comments'}).span.string o usando la propiedad visión_general = soup.find('div', 'material-details').find('dl','materials-details-abstract').find('dd', {'itemprop':'description'}).get_text() gracias
    – Cristian
    Commented el 31 may. 2020 a las 1:14

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.