1

Buen día, estoy aprendiendo a usar Python y en un ejercicio que estoy desarrollando se debe realizar un programa que encuentre todos los url en un archivo de texto (ArchivoPaginaWeb.txt, que es el código fuente de una página web) y con ello generar una lista de lo encontrado, el código que he realizado es el siguiente:

def buscasig(pagweb):
    iniciopos=pagweb.find('<a href=')
    if iniciopos==-1:
        return None,0
    iniciocita=pagweb.find('"',iniciopos)
    finposic=pagweb.find('"',iniciocita+1)
    url=pagweb[iniciocita+1:finposic]
    return url,finposic

def urls(pagweb):
    listaurls=[]
    while True:
        url,finposic=buscasig(pagweb)
        if url:
            listaurls.append(url)
            pagweb=pagweb[finposic:]
        else:
            break
    return listaurls

def main():
    with open ('ArchivoPaginaWeb.txt') as archpagweb:
        pagweb=archpagweb.read()
        listaurls=urls(pagweb)
        print("Enlaces encontrados:",listaurls)

main()

La idea es obtener una salida tipo lista con diferentes url, parecida a esto:

Enlaces encontrados: ['https://www.ejemplos.co/30-ejemplos-de-url/',
'https://1drv.ms/v/s!AkuEHsI016zRhTzzZFGqj0TSOsSh', 'http://www.ejemplos.co/30-ejemplos-deurl']

Sin embargo, al momento de ejecutarlo solo me encuentra un url y lo guarda, quedando de la siguiente manera:

Enlaces encontrados: ['https://www.ejemplos.co/30-ejemplos-de-url/']

He revisado en varias ocasiones y no sé en que parte está mal mi código, ya que utilizo un ciclo While para poder iterar.

1 respuesta 1

1

A primera vista tu código se ve bien, pero te propongo una solución basada en generadores, que te simplificara la vida.

Una función generadora se asemeja a una función normal. La diferencia es que en lugar de hacer return valor haces un yield valor. El llamante recibe el valor, pero la función continua ejecutando, o sea, conserva su estado y puede producir una secuencia de valores.

def buscasig(pagweb):
    finposic = 0
    while True:
        iniciopos = pagweb.find('<a href=', finposic)
        if iniciopos == -1:
            break
        iniciocita = pagweb.find('"', iniciopos)
        finposic = pagweb.find('"', iniciocita + 1)
        url = pagweb[iniciocita + 1:finposic]
        yield url

Esta implementación tiene un while que cicla extrayendo una url de la página en cada pasada. Usamos el método find() con parámetro start para ir corriendo el punto de búsqueda dentro de pagweb.

Luego de extraer la url, la devuelve al llamante con yield url.

Cuando ya no hay más url, se termina el ciclo con un break. Como no hay más instrucciones en la función, esta termina.

Uso

Si llamas una función generadora lo que obtienes de vuelta es un generador, que lo puedes poner donde se requiera un iterable, típicamente en un for o comprensión de listas.

def main():
    with open('ejemplo.html') as archpagweb:
        pagweb = archpagweb.read()
        listaurls = [url for url in buscasig(pagweb)]
        print("Enlaces encontrados:", listaurls)

Con la página de Google produce

Enlaces encontrados: ['https://www.google.com/setprefs?sig=0_Ntel8TzoACL5N3ffTGoPwT1F1e8%3D&amp;hl=es-419&amp;source=homepage&amp;sa=X&amp;ved=0ahUKEwjKl8y8qoP7AhV_lJUCHYDEBtMQ2ZgBCBA', 'https://www.google.com/preferences?hl=en-CL&amp;fg=1', 'https://www.google.com/advanced_search?hl=en-CL&amp;fg=1', 'https://www.google.com/history/privacyadvisor/search/unauth?utm_source=googlemenu&amp;fg=1&amp;cctld=com', 'https://www.google.com/history/optout?hl=en-CL&amp;fg=1', 'https://support.google.com/websearch/?p=ws_results_help&amp;hl=en-CL&amp;fg=1']

Process finished with exit code 0

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.