1

Tengo el siguiente codigo:

import urllib.request
datos = urllib.request.urlopen('http://blogdehermogenes.blogspot.com/').read().decode()
from bs4 import BeautifulSoup
soup =  BeautifulSoup(datos)
tags = soup('a')
for tag in tags:
        print(tag.get('href'))

Pero al ejecutarlo, solo toma los datos de los "archivedate-expanded" y me entrega los href de los primeros 3 link, hay alguna forma de hacerlo de otra forma, para que tome todos los link de los post?

6
  • Si haces un curl/wget de la página, obtienes los enlaces que buscas o será que se generan al cargar la página en un navegador?
    – Alfabravo
    Commented el 7 ene. 2020 a las 15:40
  • @Alfabravo Hola, no he probado eso, la verdad es primera vez que trabajo con python, como sería eso en el codigo?
    – Claudio
    Commented el 7 ene. 2020 a las 15:51
  • Es una prueba que haces ANTES de correr tu código. Cuando haces urllib.request.urlopen, lo que haces es una petición para recibir el HTML de la página. Como sabes bien, una cosa es lo que uno descarga y otra, lo que hace JavaScript al correr en tu navegador y actualizar el DOM. Entonces, si haces en tu consola wget http://pagina.com, vas a descargar la página como la vería tu script python (porque ahí no se va a ejecutar ningún JS).
    – Alfabravo
    Commented el 7 ene. 2020 a las 15:54
  • @Alfabravo probé lo que me comentaste, pero no se por que me sigue saliendo javascript:void(0)
    – Claudio
    Commented el 7 ene. 2020 a las 16:30
  • Hola! He ejecutado tu código y devuelve una cantidad enorme de enlaces, no sólo 3. Como comenta Alfabravo, no obtendrás con requests el contenido que generan los JavaScripts como si accedieras desde un navegador. Para eso tendrías que usar otras librerías como Selenium o dryscrape. Tienes una buena respuesta aquí: stackoverflow.com/questions/8049520/…
    – Kalma
    Commented el 7 ene. 2020 a las 20:51

1 respuesta 1

1

Quiza ya hayas encontrado la respuesta.

Si quieres todos los href de la pagina es simple.

from bs4 import BeautifulSoup
import requests

url = "http://blogdehermogenes.blogspot.com/"
page = requests.get(url)
soup = BeautifulSoup(page.content, 'html.parser')

for href in soup.find_all('a',href=True):
    print(href.get('href'))

o en vez de el for puedes hacerlo de esta forma

href = soup.find_all('a',href=True)
print(href.get('href'))

Pero no te lo dara en una lista como el for

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.