Voy a proponer una solución utilizando requests
y BeautifulSoup
en la que voy a sugerir utilizar diccionarios
o listas
:
Hacemos la petición correspondiente a la url solicitada
import requests
from bs4 import BeautifulSoup
url = 'https://www.oercommons.org/courses/randomized-synthesis-project'
soup = BeautifulSoup(requests.get(url).text,'html.parser')
1) La cantidad de visitas, veces guardados
Definimos un diccionario en el que vamos a guardar el resultado de cada item.
counter_items
es una lista de etiquetas y cadenas de caracteres (un objeto ResultSet
), que es el resultado de llamar al método find_all()
.
Para acceder al valor de cada atributo de un elemento, en este caso "title
", se utiliza .get()
.
counter_items = soup.find_all(class_='counter-item')
result = dict()
for item in counter_items:
titulo = item.get('title')
valor = item.span.text
result[titulo] = valor
Para acceder a un valor particular puedes hacer print(result['Number of visits'])
==> '62'
Su respectiva salida:
>>{'Number of visits': '62', 'Number of saves': '3', 'Number of comments': '0'}
2) Para la descripción
Esta es la parte más engorrosa, ya que lo que hice, fue intentar estructurar un poco los resultados. Con ayuda de una list comprehension
, obtenemos todos los elementos dt
de la clase materials-details-first-part
, strip()
y replace
son metodos para limpiar un poco los datos, .text
es una propiedad de BeautifulSoup
que devuelve el texto. por ejemplo <a href='#foo.com'> texto del link</a>
(si en ese elemento usamos .text
, nos devuelve 'texto del link')
Como la descripción esta dividida en dos párrafos, tenemos que unir los dos resultados en una lista sola.
Por un lado los títulos (dts+dts_segunda)
, y por otro lado el contenido(dds+dds_segunda)
de cada título
dts = [i.text.strip().replace(':','') for i in soup.find_all(class_='materials-details-first-part')[0].find_all('dt')]
dds = [i.text.strip().replace('\n','') for i in soup.find_all(class_='materials-details-first-part')[0].find_all('dd')]
dts_segunda = [i.text.strip().replace(':','') for i in soup.find_all(class_='material-details-second-part')[0].find_all('dt')]
dds_segunda = [i.text.strip().replace('\n','') for i in soup.find_all(class_='material-details-second-part')[0].find_all('dd')]
result_dts = dts+dts_segunda
result_dds = dds+dds_segunda
Ahora definimos un diccionario para guardar la descripción completa. Con ayuda de la función zip(), obtenemos un diccionario donde cada clave tiene su valor correspondiente.
materials_details = dict()
for dt,dd in zip(result_dts,result_dds):
materials_details[dt]=dd
Si quieres saber por ejemplo el Level, print(materials_details['Level']) >>'Computer Science'
Salida:
{'Subject': 'Computer Science',
'Level': 'Lower Primary',
'Grades': 'Kindergarten, Grade 1, Grade 2',
'Material Type': 'Activity/Lab, Lesson',
'Author': 'Boot up PD',
'Provider': 'Boot Up PD',
'Date Added': '09/23/2019',
'License': 'Creative Commons Attribution-NonCommercial-NoDerivs 4.0',
'Language': 'English',
'Media Format': 'Downloadable docs, Text/HTML'}
3) Promedio de valoración:
Bueno esta es la parte más sencilla ya que solo se obtiene de la siguiente manera:
.find
devuelve un (1) solo elemento. a diferencia de .find_all
. Como queremos el valor del atributo 'data-raiting-value'
, se lo pedimos con .get()
. y con eso tendríamos lo que necesitabamos.
raiting = soup.find(class_='stars').get('data-rating-value')
print(raiting) >> 0.0
pd: Si no te gusta trabajar con diccionarios o simplemente no te sientes cómodo, puedes definir una lista, y para guardar los datos como "fila" dentro de la misma. ej:
counter_items = soup.find_all(class_='counter-item')
result = []
for item in counter_items:
titulo = item.get('title')
valor = item.span.text
result.append([titulo,valor])
result[0] --> ['Number of visits', '62']
Espero que haya podido resolver tus dudas