Tengo el siguiente codigo:
import urllib.request
datos = urllib.request.urlopen('http://blogdehermogenes.blogspot.com/').read().decode()
from bs4 import BeautifulSoup
soup = BeautifulSoup(datos)
tags = soup('a')
for tag in tags:
print(tag.get('href'))
Pero al ejecutarlo, solo toma los datos de los "archivedate-expanded" y me entrega los href de los primeros 3 link, hay alguna forma de hacerlo de otra forma, para que tome todos los link de los post?
urllib.request.urlopen
, lo que haces es una petición para recibir el HTML de la página. Como sabes bien, una cosa es lo que uno descarga y otra, lo que hace JavaScript al correr en tu navegador y actualizar el DOM. Entonces, si haces en tu consola wgethttp://pagina.com
, vas a descargar la página como la vería tu script python (porque ahí no se va a ejecutar ningún JS).javascript:void(0)