2

Me gustaría saber de cuantas palabras se compone una de mis columnas del dataframe. Según tengo entendido es bastante sencillo mediante .count(), pero en vez de darme el total por cada fila me dice el tota de filas que tengo.

A continuación pongo mi código,

df["Total palabras"] = df["Conclusiones"].count()
total = df['Total palabras'].sum()

Donde en conclusiones se guarda lo que el usuario escribió. Y lo quehagoes crear una columna nueva donde en teoría debería guardar la cantidad de palabras de esa fila. Y finalmente guardar en total la suma total de todas las palabras.

También probé,

df["Total palabras"] = df["Conclusiones"].str.len()

Pero esto me cuenta la cantidad de caracteres de la conclusión y no la cantidad de palabras.

¿Que hago mal?

¿Hay alguna función de pandas que me pueda decir cuantas palabras diferentes hay en el conjunto de conclusiones? Es decir, una vez se el total de palabras de conclusiones saber cuantas de ellas son diferentes.

Muchas gracias.

1 respuesta 1

4

Haces varias preguntas en una, y hay algunas más fáciles y otras más complicadas, te voy desgranando poco a poco:

1 Simplemente contar las palabras de la columna

split: nos da una lista de palabras, separadas por comas, y despues contamos los elementos de cada lista, por último sumamos

df.texto.str.split().str.len().sum()

2 Palabras distintas

En este caso uso word_tokenize de la biblioteca nltk que es igual que split

from nltk import word_tokenize

set_dict = set()
def text_count(text)
    #tokenizamos
    text = word_tokenize(text)
    [set_dict .add(palabra) for palabra in text]

df.texto.map(text_count)

len(set_dict)

un set es como un diccionario pero solo con claves, y nunca puede haber dos claves iguales, por lo que estás contando palabras únicas

3 Cuenta real de las palabras distintas. (Bonus Extra)

Como dije al principio, es un poco más complicado si quieres realmente las palabras distintas, porque es distinto "juan", de "Juan" o imagínate que hay una coma en la frase. "preguntale a Juan, el te lo dirá". "Juan" no sería igual que "Juan,". Por ello hay que hacer un preprocesado:

import re
from nltk import word_tokenize
from unidecode import unidecode

set_dict = set()
def text_clean(text):
    #quitamos acentos
    text = unidecode(text)
    #removemos lo que no son palabras, es decir simbolos y demás
    text = re.sub("[^a-zA-Z]", " ", text)
    #ponemos en minúsculas
    text = text.lower()
    #tokenizamos (ponemos una lista de palabras igual que split)
    text = word_tokenize(text)
    #almacenamos en un diccionario
    [set_dict.add(palabra) for palabra in text]
    #contamos
    return len(text)

df['Total palabras'] = df.texto.map(text_clean) #nos la cuenta por fila de cada palabra

len(set_dict) #nos devuelve el número de palabras reales no repetidas
6
  • 1
    Primero de todo mil gracias por la respuesta con tanto detalle, segundo decir que por lo menos en lo de preprocesar los datos lo había conseguido ya, por lo tanto con la segunda opción creo me basta. Pero con esta me pasan varias cosas, la primera es que no la ejecutas en tu ejemplo, pero eso lo he solucionado copiando la ejecución del ejemplo 3, df['Total palabras'] = df.texto.map(text_count) y lo segundo es que tanto en el ejemplo 2, como en el 3, me salta un error de TypeError: 'set' object is not callable ¿Sabes porque sucede? GRACIAS
    – Lleims
    Commented el 19 dic. 2019 a las 9:17
  • Disculpa han sido dos errores mios por ir con prisas... 1. Ya he puesto el ejemplo dos ejecutado 2. Este segundo error viene, porque yo he cometido una novatada, que es llamar una variable como una palabra reservada del lenguaje. En este caso hice esto set = set() cuando debería haber puesto cualquier otro nombre nombre_variable = set() por ejemplo. Commented el 19 dic. 2019 a las 9:31
  • 1
    Lo de que no se puede llamar a una variable como una palabra reservada ya lo vi y cambié el problema es que sigue dando el mismo TypeError así que el problema es cómo se está usando ese set() supongo...
    – Lleims
    Commented el 19 dic. 2019 a las 9:59
  • 1
    Puede ser que hayas usado al principio la variable set como yo lo puse, y después no hayas reiniciado el kernel, y por tanto sigas teniendo esa variable registrada? Commented el 19 dic. 2019 a las 10:04
  • 1
    Debía ser que de las pruebas anteriores se me había quedado en la memoria, estoy con un notebook. Muchas gracias!!
    – Lleims
    Commented el 19 dic. 2019 a las 10:16

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.