0

Estoy intentando extraer las URL que sigan el siguiente patrón: protocolo://dominio/ruta donde:

  • Protocolo puede ser http o https
  • El dominio está compuesto por un conjunto de letras con un '.' que separa la extensión (.com, .org, etc).
  • La ruta es un conjunto de carácteres que puede contener letras o números

Por ejemplo, la web https://t.co/V3aoj9RUh4 seria una URL de interés pero una que sea del tipo http://wwww.trump.com/ no ya que tiene www y no tiene ruta.

El fichero .csv que estoy analizando en concreto contiene lineas como:

Date,Time,Tweet,Client,Client Simplified
01/20/2017, 11:56:15 PM. "THANK YOU for another wonderful evening https://t.co/V3aoj9RUh4", Twitter for iPhone, Twitter for iPhone
01/20/2017, 1:13:48 PM, "So to all Mericans, in every city near and far, small and large...https://t.co/cZKkrGXLSi", Twitter for iPhone, Twitter for iPhone

Como solución global, tengo que hacer una función que devuelva una tupla que contenga:

  • el numero de tweets que se han hecho a través de una URL valida.
  • una lista que contenga el dominio de las URLs sin repeticiones.

He hecho lo siguiente:

import re

path= '/data/TrumpTweets.csv'
def url_validada(url):
  """Comprueba si una URL es valida

  Keyword arguments:
  url -- url a validar
  """
  url_validada = re.compile("https?:\/\/[0-9a-zA-Z]+\.[a-zA-Z]+\/[0-9a-zA-Z]+")
  return url_validada.search(url)

def find_interesting_urls(path, mostrar_llista=False):
    """Valida la lista de las url desde archivo
    
    Keyword arguments:
    path -- ruta al fichero del ordenador que contiene los tweets
    mostrar_llista -- indica si tenemos que mostrar la lista o no
    """
    try:
        with open(path, 'r') as inputfile:
            csv_reader = csv.reader(inputfile, delimiter = ',') 
            urls = [tweets[2] for tweet in csv_reader]
            urls_validades = list(filter(url_valida,urls))
            
        # Devolvemos una tupla con la cantidad y lista de URLs si mostrar_llista es True.
        if mostrar_llista:
            resultat = (len(urls_validades), set(urls_validades))
        else:
            resultat = (len(urls_validades),)
        return resultat

    except FileNotFoundError:
        print("File not available")
        return -1

El código funciona, sin embargo, en la salida estoy mostrando no solamente el dominio sino que todo. Cómo puedo extraer el string exacto que cumpla el patrón de URL?

La salida del código es la siguiente:

(6939,
 {'#Trump2016 #IACaucus Finder: https://t.co/ANvTcZ8EpQ https://t.co/gicaoEOFCC',
  'Obama opposes sanctions on Iran http://t.co/SGqN0gmc5y They are laughing at Kerry & Obama!',
  'I am on @FoxNewsSunday with Chris Wallace- his 20th year anniversary with #FNS, throughout the day. Enjoy! https://t.co/hDzdDpZiRx',
  '@MittRomney is right--this election is about jobs http://t.co/x8ph87ZN But it is interesting that @BarackObama (cont) http://t.co/t6RqfTAJ', continua....

Deberia ser algo como:

(6939, (['t.co', 'tinyurl.com'])

1 respuesta 1

1

Y si usas URLExtract pip install URLExtract y la librería nativa urllib.

from urlextract import URLExtract
from urllib.parse import urlparse

var = '@MittRomney is right--this election is about jobs http://t.co/x8ph87ZN But it is interesting that @BarackObama (cont) http://t.co/t6RqfTAJ | http://www.trump.com'
extractor = URLExtract()
urls = extractor.find_urls(var)

En este punto, urls será una lista:
['http://t.co/x8ph87ZN', 'http://t.co/t6RqfTAJ', 'http://www.trump.com']

Ahora se pueden procesar con el método urlparse de urllib

for url in urls:
    urlobj = urlparse(url)
    print(urlobj.netloc, ' - ', urlobj.path)

# Resultado:
# t.co  -  /x8ph87ZN
# t.co  -  /t6RqfTAJ
# www.trump.com  -

Con eso ya puedes crear una lógica para filtrar las URL que no tienen un path hijo y las vas metiendo en un set para eliminar los repetidos.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.