1

Estoy encallado con algo que, creo, debería ser algo sencillo pero que no logro hacer. Estoy usando "newspaper3k" [La duda no es con este paquete, es un simple bucle lo que me tiene encallado]. Permite scrapear noticias de una forma muy sencilla. Pongo aquí el código para scrapear usando este módulo:

import nltk
from newspaper import Article

#Tomemos el artículo
url="ponemos_url_noticia"
article= Article(url)

#Hagamos NLP
article.download()
article.parse()
nltk.download("punkt")
article.nlp()

Luego:

#Fecha
article.publish_date

Y esto me devuelve la fecha de la noticia. Con ARTICLE puedo tomar mucha información (fecha, cuerpo de la noticia, url de la foto, etc.), y, de hecho, me interesa tomar mucha.

El caso: yo partiré siempre de una hoja de excel (o csv, no importa) con varias columnas. El documento se llama "medios". Una columna se llama "link" y contiene las URL que quiero scrapear.

He intentado hacer un bucle for i in medios: de modo que se revise cada fila de la columna "link", se cambie la url que quiero scrapear, ejecute (por ejemplo), article.publish_date y luego guarde la información scrapeada en el mismo dataframe.

No sé si me he explicado. Debo scrapear todas las URL de la columna "link", realizar algunas cosas con cada una (por ejemplo, article.publish_date) y guardar los resultados en columnas distintas (en este caso, "fecha").

Para hacer el bucle, hago lo siguiente:

for index, row in medios.iterrows():
    url=row["link"]
    article= Article(url)
    article.download()
    article.parse()
    nltk.download("punkt")
    article.nlp()
    print(article.publish_date)
    print("/"

De esta forma, me toma la URL y me pasa la fecha de cada noticia publicada. Sin embargo, no sé si es la mejor y más eficiente forma de hacerlo (creo que no).

Por otro lado, está el tema de guardarlo en un DF. Ignoro cómo hacerlo, pues mis intentos solo han logrado que se guarde la fecha de la primera noticia en toooodas las filas, en lugar de guardar a cada una la fecha correspondiente...

1
  • Se supone que estás trabajando con pandas. Deberías ponerlo explícitamente e indicarlo en las etiquetas. el 31 jul. 2020 a las 12:42

1 respuesta 1

3

Cuando haces un bucle, nunca es aconsejable modificar aquél objeto por el que estás iterando. Lo mejor es pensar que lo que necesitas es una transformación, partiendo de un iterable llegar a otro distinto.

Vamos a suponer que lo que quieres es extraer datos a partir de un campo del dataframe. Esta operación se puede declarar así:

def get_publish_date(url):
    article= Article(url)
    article.download()
    article.parse()
    nltk.download("punkt")
    article.nlp()
    return article.publish_date

En pandas, se puede transformar un dataframe en otro mediante DataFrame.transform y asignarlo a una columna con DataFrame.assign:

medios_with_publish_date = medios.assign(publish_date=medios['link'].transform(get_publish_date))
1
  • Perfecto, muchísimas gracias! Tendré en cuenta lo de guardar la transformación a otro df. Un saludo!!
    – Deshume
    el 3 ago. 2020 a las 9:19

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.