Intenté programar un web scraper para que buscara en una página de publicaciones científicas y me devolviera los títulos relacionados con un tema en específico. Mi código es el siguiente:
from bs4 import BeautifulSoup
from selenium import webdriver
driver = webdriver.Firefox()
import pandas as pd
driver.get('https://pubmed.ncbi.nlm.nih.gov/?term=sports+nutrition')
html = driver.page_source
soup = BeautifulSoup(html)
url='https://pubmed.ncbi.nlm.nih.gov/?term=sports+nutrition'
soup = BeautifulSoup(url, "lxml")
#Pubmed titles for Sports Nutrition
SNTitles= soup.selectAll('a class', class_='docsum-title')
print (SNTitles)
titles = list()
for i in SNTitles:
titles.append(i.text)
print(titles)
Ese código me devuelve: TypeError: 'NoneType' object is not callable. Busqué en internet y después de cambiarle varias cosas al código, me devuelve otros errores o en algún caso me devolvió:
soup = BeautifulSoup(html)
Alguien tiene idea de que puedo modificar en mi codigo?