1

estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href.

import requests
import bs4
import pandas as pd
from bs4 import BeautifulSoup
from urllib.parse import urljoin

url_inicial='https://www.jamaicaobserver.com/search/?q=FRAUD&start='
url_root='https://www.jamaicaobserver.com/search/?q=FRAUD&start=

r=requests.get(url_inicial)
src = r.text
s=BeautifulSoup(r.text,'html')

lista_article=s.find_all('article', class_='section-teaser search-teaser teaser')
links_noticias=[x.find('div').find('a').get('href') for x in lista_article]

def get_url_items(sopa, url):
    url_root='https://www.jamaicaobserver.com/search/?q=FRAUD&start='
    lista_article=s.find_all('article', class_='section-teaser search-teaser teaser')
    links_noticias=[x.find('div').find('a').get('href') for x in lista_article]
    links_noticias=[urljoin(url_root,i) for i in links_noticias]
    return links_noticias

El root, muestra sólo las 10 primeras noticias y así sucesivamente, el selector captura los href de la pagina 0, 10, 20 pero cuando extraigo los href de cada página siguiente sólo me muestra de los primeros 10.

path='https://www.jamaicaobserver.com/search/?q=FRAUD&start='

links_items=[]
i=0
while i<30:
    url_inicial=path+str(i)
    i+=10
    print (f'Estoy en la página {url_inicial}')
    r_pag = requests.get(url_inicial)
    s_p = BeautifulSoup(r_pag.text,'html')
    links = get_url_items(s_p, url_inicial)
    next_a = s_p.select('li.page-item> a')
    if not next_a or not next_a[0].get('href'):
        break
    #url_inicial = urljoin(url_inicial, next_a[0].get('href'))
    links_items.append(links)

links_items

¿Cómo podría capturar los href de todas las noticias de las 5 páginas siguientes?

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.