Quiero anadir la informacion de cuantos Quotes de un articulo habia en el mio scraper que recupera los articulos que se recuperan a partir de una consulta en Google Scholar. Por ejemplo "nlp explainability".
<a href="/scholar?cites=11880743428410665806&as_sdt=2005&sciodt=0,5&hl=en">Cited by 48</a>
Hasta hoy intento obtenerlo con [title=Cite]
pero, a diferencia de todos los demás, regresa vacío:
# this function for the extracting information of the tags
def get_tags(doc):
paper_tag = doc.select('[data-lid]')
cite_tag = doc.select('[title=Cite] + a')
link_tag = doc.find_all('h3',{"class" : "gs_rt"})
author_tag = doc.find_all("div", {"class": "gs_a"})
return paper_tag,cite_tag,link_tag,author_tag
# this function for the getting inforamtion of the web page
def get_paperinfo(paper_url):
#download the page
response=requests.get(url,headers=headers)
# check successful response
if response.status_code != 200:
print('Status code:', response.status_code)
raise Exception('Failed to fetch web page ')
#parse using beautiful soup
paper_doc = BeautifulSoup(response.text,'html.parser')
return paper_doc
url = "https://scholar.google.com/scholar?start={}&hl=en&as_sdt=0%2C5&q=nlp+explainability&btnG=".format(1)
# function for the get content of each page
doc = get_paperinfo(url)
# function for the collecting tags
paper_tag,cite_tag,link_tag,author_tag = get_tags(doc)
Pienso que puedo utilisar gs_fl
: