estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href.
import requests
import bs4
import pandas as pd
from bs4 import BeautifulSoup
from urllib.parse import urljoin
url_inicial='https://www.jamaicaobserver.com/search/?q=FRAUD&start='
url_root='https://www.jamaicaobserver.com/search/?q=FRAUD&start=
r=requests.get(url_inicial)
src = r.text
s=BeautifulSoup(r.text,'html')
lista_article=s.find_all('article', class_='section-teaser search-teaser teaser')
links_noticias=[x.find('div').find('a').get('href') for x in lista_article]
def get_url_items(sopa, url):
url_root='https://www.jamaicaobserver.com/search/?q=FRAUD&start='
lista_article=s.find_all('article', class_='section-teaser search-teaser teaser')
links_noticias=[x.find('div').find('a').get('href') for x in lista_article]
links_noticias=[urljoin(url_root,i) for i in links_noticias]
return links_noticias
El root, muestra sólo las 10 primeras noticias y así sucesivamente, el selector captura los href de la pagina 0, 10, 20 pero cuando extraigo los href de cada página siguiente sólo me muestra de los primeros 10.
path='https://www.jamaicaobserver.com/search/?q=FRAUD&start='
links_items=[]
i=0
while i<30:
url_inicial=path+str(i)
i+=10
print (f'Estoy en la página {url_inicial}')
r_pag = requests.get(url_inicial)
s_p = BeautifulSoup(r_pag.text,'html')
links = get_url_items(s_p, url_inicial)
next_a = s_p.select('li.page-item> a')
if not next_a or not next_a[0].get('href'):
break
#url_inicial = urljoin(url_inicial, next_a[0].get('href'))
links_items.append(links)
links_items
¿Cómo podría capturar los href de todas las noticias de las 5 páginas siguientes?