El problema es que como comenta Patricio en su respuesta la función awesome_count()
no tiene ningún parámetro de entrada pero es aplicada sobre los elementos de la columna products [ 'word_count' ]
. Al hacer apply()
estas haciendo que la función sea llamada una vez por cada elemento de la columna, pasandole este elemento a dicha función como parámetro y usando su retorno para construir la columna products['awesome']
. Es decir, awesome_count()
debe tener como parámetro de entrada el objeto donde debe buscar 'awesome'.
Dicho esto, ten en cuenta que con products['awesome'] = products['word_count'].apply(awesome_count)
estas aplicando la función sobre una columna que tienes que tener creada anteriormente llamada word_count
y que debe ser un SArray
de diccionarios. Cada diccionario tiene como claves las palabras presentes en cada review
y como valor el numero de veces que aparecen:
| review | word_count |
|------------------------------------------------------|-------------------------------------------------------------------------------------------|
| 'Very soft and comfortable and warmer than it looks' | {'Very': 1, `'soft' 'and': 2, 'comfortable': 1, 'warmer': 1 'than': 1 'it': 1 'looks': 1} |
De no tener creada dicha columna debes crearla antes o cambiar la forma en la que creas la columna 'awesome'
.
La función debería ser así:
def awesome_count(wordcount):
if 'awesome' in wordcount:
return wordcount['awesome']
else:
return 0
El código completo debería ser:
products = graphlab.SFrame('amazon_baby.gl/')
products['word_count'] = graphlab.text_analytics.count_words(products['review'])
def awesome_count(wordcount):
if 'awesome' in wordcount:
return wordcount['awesome']
else:
return 0
products['awesome'] = products ['word_count'].apply(awesome_count)
Si tienes dudas sobre los métodos puedes mirarte la documentación de graphlab:
=====================
P.D: dado que graphlab es privativo (gratuito para fines académicos solo) si no tenemos acceso a una licencia podemos emular el código anterior usando Sframe
y collections.Counter
(también usando Pandas sería posible si no tenemos problemas de memoria):
import collections
import re
import sframe
products = sframe.SFrame('amazon_baby.gl/')
def awesome_count(wordcount):
if 'awesome' in wordcount:
return wordcount['awesome']
else:
return 0
def counter(a):
words = re.findall(r'\w+', a)
return dict(collections.Counter(words))
products['word_count'] = products['review'].apply(counter)
products['awesome'] = products ['word_count'].apply(awesome_count)
=====================
P.D 2: En el supuesto que no quisieras crear la columna 'word_count'
previamente puedes crear la columna 'awesome'
directamente iterando sobre 'review'
:
products = graphlab.SFrame('amazon_baby.gl/')
def awesome_count(review):
return graphlab.text_analytics.count_words(review)['awesome']
products['awesome'] = products ['review'].apply(awesome_count)
Si no disponemos de graphlab podemos usar collections.Counter
como antes:
import collections
import re
import sframe
products = sframe.SFrame('amazon_baby.gl/')
def awesome_count(review):
return collections.Counter(re.findall(r"\w+", review))['awesome']
products['awesome'] = products ['review'].apply(awesome_count)
Si vas a hacer esto con más palabras además de 'awesome' no tiene sentido, la forma apropiada y eficiente es crear antes la columna 'word_count'
para no tener que separar y contar las palabras cada vez.
Edición:
Si queremos aplicar la función sobre una lista de palabras y para cada una de ellas que se cree una columna con las veces que aparece igual que antes hicimos con "awesome" basta con pasar la palabra como parámetro a la función y usar lambda
para poder pasar funciones con parámetros a apply()
:
products = graphlab.SFrame('amazon_baby.gl/')
products['word_count'] = graphlab.text_analytics.count_words(products['review'])
def word_count(wordcount, word):
if word in wordcount:
return wordcount[word]
else:
return 0
selected_words = ['awesome', 'great', 'fantastic', 'amazing', 'love', 'horrible', 'bad', 'terrible', 'awful', 'wow', 'hate']
for word in selected_words:
products[word] = products ['word_count'].apply(lambda x:word_count(x, word))
Si queremos crear una columna en la que aparezcan las veces que están todas las palabras anteriores en cada review (crear una columna donde estan sumadas todas, no una por cada palabra) entondes podemos hacer algo como:
products = graphlab.SFrame('amazon_baby.gl/')
products['word_count'] = graphlab.text_analytics.count_words(products['review'])
def words_count(wordcount, words):
return sum(wordcount[word] for word in words if word in wordcount)
selected_words = ['awesome', 'great', 'fantastic', 'amazing', 'love', 'horrible', 'bad', 'terrible', 'awful', 'wow', 'hate']
products['total'] = products['word_count'].apply(lambda x:words_count(x, selected_words))