0

Quiero anadir la informacion de cuantos Quotes de un articulo habia en el mio scraper que recupera los articulos que se recuperan a partir de una consulta en Google Scholar. Por ejemplo "nlp explainability".

<a href="/scholar?cites=11880743428410665806&amp;as_sdt=2005&amp;sciodt=0,5&amp;hl=en">Cited by 48</a>

Hasta hoy intento obtenerlo con [title=Cite] pero, a diferencia de todos los demás, regresa vacío:

# this function for the extracting information of the tags
def get_tags(doc):
  paper_tag = doc.select('[data-lid]')
  cite_tag = doc.select('[title=Cite] + a')
  link_tag = doc.find_all('h3',{"class" : "gs_rt"})
  author_tag = doc.find_all("div", {"class": "gs_a"})

  return paper_tag,cite_tag,link_tag,author_tag

# this function for the getting inforamtion of the web page
def get_paperinfo(paper_url):

  #download the page
  response=requests.get(url,headers=headers)

  # check successful response
  if response.status_code != 200:
    print('Status code:', response.status_code)
    raise Exception('Failed to fetch web page ')

  #parse using beautiful soup
  paper_doc = BeautifulSoup(response.text,'html.parser')

  return paper_doc

url = "https://scholar.google.com/scholar?start={}&hl=en&as_sdt=0%2C5&q=nlp+explainability&btnG=".format(1)

# function for the get content of each page
doc = get_paperinfo(url)

# function for the collecting tags
paper_tag,cite_tag,link_tag,author_tag = get_tags(doc)

Pienso que puedo utilisar gs_fl:

introducir la descripción de la imagen aquí

Aqui esta el google colab

1 respuesta 1

0

Puedes utilizar un selector que se base en el contenido del href del enlace:

doc.select('a[href*=\?cites\=]')

Así seleccionas los elementos <a> en cuyo atributo href esté la cadena ?cites=

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.