1

Estoy desarrollando un análisis de sentimientos de tweets usando MapReduce y MrJob. Funciona correctamente el cálculo de sentimientos por área geográfica que quiero analizar, pero a la vez que calculo el puntaje de un área, quiero contar los tweets publicados para esas áreas. De manera resumida, las funciones son las siguientes:

Ejemplo función mapper:

def tweets_mapper(self, _, line):
    weights = self.Dictionary("/Data/Redondo_words.csv")
    try:
        jsonLine = json.loads(line)
        place = jsonLine["place"].get('country').encode('utf8')
        place = place.encode('utf-8')
        text = jsonLine["text"]
        score = self.tweet_Score(text, weights)
        yield (place, score)
    except:
        pass

Ejemplo función reducer:

def reducer(self, word, value):
    yield word, sum(value)

Ejemplo función steps:

def steps(self):
    return [MRStep(mapper=self.tweets_mapper,
               reducer=self.tweets_reducer_scores)
        ]

Con esta estructura mapreduce, ya ejecuto correctamente los puntajes por zona geográfica, si quiero contar tweets por zona geográfica sólo cambio la siguiente línea del mapper:

yield (place, 1)

El problema es que necesito a la par ambos resultados y no consigo incluirlos en una misma ejecución.

He probado a crear unas funciones mapper y reducer para los scores de sentimientos por zona geográfica y otra función mapper y reducer para contar los tweets por zona geográfica, para lo cual modifico la función steps así:

def steps(self):
    return [MRStep(mapper=self.tweets_mapper_scores,
               reducer=self.tweets_reducer_scores),
            MRStep(mapper=self.tweets_mapper_counts,
               reducer=self.tweets_reducer_counts)
        ]

Cuando ejecuto el código sólo para los scores funciona, si lo ejecuto sólo para los counts funciona, pero cuando intento realizar los dos cálculos a la vez, deja de dar resultados.

Podéis decirme como ejecutar varios procesos mapReduce con MrJob usando yield en una misma clase?.

1 respuesta 1

0

Como work-around para resolver lo que buscaba (calcular el puntaje por área y contar los tweets publicados para esas áreas) y obtener la media por área. Encontré la siguiente opción con un solo mapper y un solo reducer así:

   def tweets_mapper(self, _, line):
        try:
            jsonLine = json.loads(line)
            place = None
            if 'lang' and 'place' and 'text' in jsonLine:
                if (jsonLine['lang'] == "en") and (jsonLine['place'] is not None):
                    place = jsonLine["place"].get('country_code')
                    if place is not None:
                        location = self.get_country_name(place, countries)
                        text = jsonLine["text"]
                        score = self.tweet_Score(text, weights)
                        yield (location, (score, 1))
        except:
            pass

    def tweets_reducer(self, location, punctuation):
        count = 0
        total_score = 0
        for score, counter in punctuation:
            count += counter
            total_score += score
        mean_score = round((total_score / count), 2)
        yield location, mean_score

    def steps(self):
        return [MRStep(mapper=self.tweets_mapper,
                       reducer=self.tweets_reducer)
                ]

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.