Estoy desarrollando un análisis de sentimientos de tweets usando MapReduce y MrJob. Funciona correctamente el cálculo de sentimientos por área geográfica que quiero analizar, pero a la vez que calculo el puntaje de un área, quiero contar los tweets publicados para esas áreas. De manera resumida, las funciones son las siguientes:
Ejemplo función mapper:
def tweets_mapper(self, _, line):
weights = self.Dictionary("/Data/Redondo_words.csv")
try:
jsonLine = json.loads(line)
place = jsonLine["place"].get('country').encode('utf8')
place = place.encode('utf-8')
text = jsonLine["text"]
score = self.tweet_Score(text, weights)
yield (place, score)
except:
pass
Ejemplo función reducer:
def reducer(self, word, value):
yield word, sum(value)
Ejemplo función steps:
def steps(self):
return [MRStep(mapper=self.tweets_mapper,
reducer=self.tweets_reducer_scores)
]
Con esta estructura mapreduce, ya ejecuto correctamente los puntajes por zona geográfica, si quiero contar tweets por zona geográfica sólo cambio la siguiente línea del mapper:
yield (place, 1)
El problema es que necesito a la par ambos resultados y no consigo incluirlos en una misma ejecución.
He probado a crear unas funciones mapper y reducer para los scores de sentimientos por zona geográfica y otra función mapper y reducer para contar los tweets por zona geográfica, para lo cual modifico la función steps así:
def steps(self):
return [MRStep(mapper=self.tweets_mapper_scores,
reducer=self.tweets_reducer_scores),
MRStep(mapper=self.tweets_mapper_counts,
reducer=self.tweets_reducer_counts)
]
Cuando ejecuto el código sólo para los scores funciona, si lo ejecuto sólo para los counts funciona, pero cuando intento realizar los dos cálculos a la vez, deja de dar resultados.
Podéis decirme como ejecutar varios procesos mapReduce con MrJob usando yield en una misma clase?.