0
import requests
from bs4 import BeautifulSoup
import pandas as pd

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36 Edg/100.0.1185.44'}

articles_list = []


def getArticles_Empresas():
    url = 'http://www.businessanddisability.org/es/news-feed/'
    r = requests.get(url, headers=headers)
    soup = BeautifulSoup(r.text, 'html.parser')
    articles = soup.find_all('div', {'class': 'without-video-box'})
    for item in articles:
        article = {
        'Comunidad' : 'Empresa y Discapacidad',
        'Titulos': item.find('h2').text,
        'Links': item.find('a') ['href'],
        'Descripciones': item.find('p').text
        }
        articles_list.append(article)
    return

getArticles_Empresas()


df = pd.DataFrame(articles_list)
df.to_excel('articles.xlsx', index=False, sheet_name='Articulos')
print('Fin.')

Estoy realizando un web scraping en la página de businessanddisability, me gustaría limitar el número de resultados devueltos a 20, he intentado hacer un for aninado con la función range más sin embargo me devolvió los mismos resultados ¿Qué podría hacer para lograr esto?

Agradezco su ayuda!

1 respuesta 1

0

Primeramente no declares tu objeto como global, decláralo dentro del scope de tu función, de esta forma te permitirá un mejor manejo de los datos, y de esta forma si tienes que usar de nuevo la función, te permitirá obtener los datos de un array limpio en lugar de añadirlos al primer resultado

En vez de

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36 Edg/100.0.1185.44'}

articles_list = []


def getArticles_Empresas():
    ...
    return

getArticles_Empresas()
df = pd.DataFrame(articles_list)

Cámbialo a

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 Safari/537.36 Edg/100.0.1185.44'}

articles_list = []


def getArticles_Empresas():
    articles_list = []
    ...
    return articles_list

df = pd.DataFrame(getArticles_Empresas())

Después podrías obtener el limite no con un for anidado, sino con un for principal

 def getArticles_Empresas():
    articles_list = []
    url = 'http://www.businessanddisability.org/es/news-feed/'
    r = requests.get(url, headers=headers)
    soup = BeautifulSoup(r.text, 'html.parser')
    articles = soup.find_all('div', {'class': 'without-video-box'})
    for idx in range(20):
        item = articles[idx]
        article = {
            'Comunidad' : 'Empresa y Discapacidad',
            'Titulos': item.find('h2').text,
            'Links': item.find('a') ['href'],
            'Descripciones': item.find('p').text
        }
        articles_list.append(article)
        
    return articles_list

También podrías agregar el límite dentro de la función para hacerlo más escalable

def getArticles_Empresas(limit = 20):
    articles_list = []
    url = 'http://www.businessanddisability.org/es/news-feed/'
    r = requests.get(url, headers=headers)
    soup = BeautifulSoup(r.text, 'html.parser')
    articles = soup.find_all('div', {'class': 'without-video-box'})
    for idx in range(limit):
        item = articles[idx]
            article = {
                'Comunidad' : 'Empresa y Discapacidad',
                'Titulos': item.find('h2').text,
                'Links': item.find('a') ['href'],
                'Descripciones': item.find('p').text
            }
            articles_list.append(article)
            
        return articles_list
getArticles_Empresa() # Regresa 20 artículos
getArticles_Empresa(10) # Regresa 10 artículos
df = 
pd.DataFrame(getArticles_Empresa())
df.to_excel('articles.xlsx', index=False, sheet_name='Articulos')
print('Fin.')
1
  • Hola!! Agradezco mucho su respuesta, me ha alegrado poder avanzar en lo que quería!!
    – DuvanF
    Commented el 19 abr. 2022 a las 19:38

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.