0

Intenté programar un web scraper para que buscara en una página de publicaciones científicas y me devolviera los títulos relacionados con un tema en específico. Mi código es el siguiente:

from bs4 import BeautifulSoup
from selenium import webdriver
driver = webdriver.Firefox()
import pandas as pd
driver.get('https://pubmed.ncbi.nlm.nih.gov/?term=sports+nutrition')
html = driver.page_source
soup = BeautifulSoup(html)

url='https://pubmed.ncbi.nlm.nih.gov/?term=sports+nutrition'
soup = BeautifulSoup(url, "lxml")

#Pubmed titles for Sports Nutrition
SNTitles= soup.selectAll('a class', class_='docsum-title')

print (SNTitles)    
titles = list()
for i in SNTitles:
    titles.append(i.text)
    
print(titles)

Ese código me devuelve: TypeError: 'NoneType' object is not callable. Busqué en internet y después de cambiarle varias cosas al código, me devuelve otros errores o en algún caso me devolvió:

soup = BeautifulSoup(html)

Alguien tiene idea de que puedo modificar en mi codigo?

1 respuesta 1

0

Estás pasándole una URL a BeatufilSoup, pero este objecto acepta contenido. Quizás sólo necesites eliminar estas dos líneas para que funcione:

url='https://pubmed.ncbi.nlm.nih.gov/?term=sports+nutrition'
soup = BeautifulSoup(url, "lxml")

Deberías pasarle el contenido que te devuelve la URL usando un cliente HTTP, como haces previamente con Selenium.

driver.get('https://pubmed.ncbi.nlm.nih.gov/?term=sports+nutrition')
html = driver.page_source
soup = BeautifulSoup(html)

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.