Estoy intentando extraer las URL que sigan el siguiente patrón: protocolo://dominio/ruta donde:
- Protocolo puede ser http o https
- El dominio está compuesto por un conjunto de letras con un '.' que separa la extensión (.com, .org, etc).
- La ruta es un conjunto de carácteres que puede contener letras o números
Por ejemplo, la web https://t.co/V3aoj9RUh4 seria una URL de interés pero una que sea del tipo http://wwww.trump.com/ no ya que tiene www y no tiene ruta.
El fichero .csv
que estoy analizando en concreto contiene lineas como:
Date,Time,Tweet,Client,Client Simplified
01/20/2017, 11:56:15 PM. "THANK YOU for another wonderful evening https://t.co/V3aoj9RUh4", Twitter for iPhone, Twitter for iPhone
01/20/2017, 1:13:48 PM, "So to all Mericans, in every city near and far, small and large...https://t.co/cZKkrGXLSi", Twitter for iPhone, Twitter for iPhone
Como solución global, tengo que hacer una función que devuelva una tupla que contenga:
- el numero de tweets que se han hecho a través de una URL valida.
- una lista que contenga el dominio de las URLs sin repeticiones.
He hecho lo siguiente:
import re
path= '/data/TrumpTweets.csv'
def url_validada(url):
"""Comprueba si una URL es valida
Keyword arguments:
url -- url a validar
"""
url_validada = re.compile("https?:\/\/[0-9a-zA-Z]+\.[a-zA-Z]+\/[0-9a-zA-Z]+")
return url_validada.search(url)
def find_interesting_urls(path, mostrar_llista=False):
"""Valida la lista de las url desde archivo
Keyword arguments:
path -- ruta al fichero del ordenador que contiene los tweets
mostrar_llista -- indica si tenemos que mostrar la lista o no
"""
try:
with open(path, 'r') as inputfile:
csv_reader = csv.reader(inputfile, delimiter = ',')
urls = [tweets[2] for tweet in csv_reader]
urls_validades = list(filter(url_valida,urls))
# Devolvemos una tupla con la cantidad y lista de URLs si mostrar_llista es True.
if mostrar_llista:
resultat = (len(urls_validades), set(urls_validades))
else:
resultat = (len(urls_validades),)
return resultat
except FileNotFoundError:
print("File not available")
return -1
El código funciona, sin embargo, en la salida estoy mostrando no solamente el dominio sino que todo. Cómo puedo extraer el string exacto que cumpla el patrón de URL?
La salida del código es la siguiente:
(6939,
{'#Trump2016 #IACaucus Finder: https://t.co/ANvTcZ8EpQ https://t.co/gicaoEOFCC',
'Obama opposes sanctions on Iran http://t.co/SGqN0gmc5y They are laughing at Kerry & Obama!',
'I am on @FoxNewsSunday with Chris Wallace- his 20th year anniversary with #FNS, throughout the day. Enjoy! https://t.co/hDzdDpZiRx',
'@MittRomney is right--this election is about jobs http://t.co/x8ph87ZN But it is interesting that @BarackObama (cont) http://t.co/t6RqfTAJ', continua....
Deberia ser algo como:
(6939, (['t.co', 'tinyurl.com'])