Primero construimos una función generadora. Esto es útil cuando se desea tener dos procesos, donde uno genera datos que deben ser procesados por el otro a medida que van siendo generados.
La función recibe el nombre de un archivo con tweets (uno por linea). La función recorre el archivo, produciendo un texto a la vez:
def sig_texto(nombre_archivo):
""" Función generadora.
En cada llamada retorna el texto de otro tweet.
@param nombre_archivo El nombre del archivo de tweets.
@yield El texto del tweet
"""
with open (nombre_archivo) as tweets:
for line in tweets:
contenido=json.loads(line)
if 'text' in contenido:
yield contenido['text']
También necesitamos construir un diccionario con los sentimientos valorizados:
with open("sentimientos.txt") as sentimientos:
valores = {}
for linea in sentimientos:
termino, valor = linea.split("\t")
valores[termino.lower()] = int(valor)
Tomamos la precaución de reducir a minúscula el texto de los sentimientos.
Tenemos ahora que recorrer los tweets, separando cada texto en palabras, descartando todos los caracteres especiales (.,?-, etc) que puedan traera
pegadas. Eso lo hacemos con una expresión regular y findall()
.
import re
palabra = re.compile("[\w]+")
Ahora recorremos los tweets valorizando cada palabra. Si el tweet tiene un valor distinto de cero, lo mostramos
for text in sig_texto('Tweets.json'):
# Por cada tweet.
valor_tweet = 0
# Recorrer las palabras dentro del tweet
for termino in palabra.findall(text):
term = termino.lower()
if term in valores:
valor_tweet += valores[term]
if valor_tweet > 0:
print(valor_tweet, text)
Comprobación
Ahora, con todo junto, probemos
import json
import re
palabra = re.compile("[\w]+")
def sig_texto(nombre_archivo):
""" Función generadora.
En cada llamada retorna el texto de otro tweet.
@param nombre_archivo El nombre del archivo de tweets.
@yield El texto del tweet
"""
with open (nombre_archivo) as tweets:
for line in tweets:
contenido=json.loads(line)
if 'text' in contenido:
yield contenido['text']
#
# Cargar el diccionario de sentimientos.
#
with open("sentimientos.txt") as sentimientos:
valores = {}
for linea in sentimientos:
termino, valor = linea.split("\t")
valores[termino.lower()] = int(valor)
for text in sig_texto('Tweets.json'):
# Por cada tweet.
valor_tweet = 0
# Recorrer las palabras dentro del tweet
for termino in palabra.findall(text):
term = termino.lower()
if term in valores:
valor_tweet += valores[term]
if valor_tweet > 0:
print(valor_tweet, text)
con este archivo de sentimientos:
love 1
amor 1
mariage 1
ugly -1
happy 1
sincero 1
produce:
1 RT @byunghns: 😭 I LOVE #틴탑 SO MUCH #쉽지않아 IS GOING TO BE SO GOOD 😭
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
1 RT @GossipRoomOff: Si Nathalie sait pertinemment que son couple ne va pas durer, alors pourquoi accepter la demande en mariage de Vivian ? …
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
1 RT @Nashgrier: Happy Birthday to one of my best friends @jackgilinsky Can't wait till you're out in LA! Have a good one!
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
2 RT @Positivamos: tudo o que eu quero é um amor sincero.
1 I thought I would be happy by now
1 RT @JeremiahTaylorr: happy birthday @MeghanNally ❤️❤️ imysm i found this in my dropbox😂😂 http://t.co/NEFZJVWs6I
1 Happy Birthday to Robbie , @arsenalfantv you offer excellent insight & coverage on The Mighty Arsenal hope you continue to expand & Innovate
2 RT @Nashgrier: Happy birthday @tfionash I love you soooo much! Thank you for everything, you have no idea how much you mean to me. Hope it'…
contenido['text']
y producir un diccionario valorizado?