0

Estoy haciendo un WordCloud, ya sé como hacerlo a partir de un diccionario que tiene los datos de la palabra y el número de veces que aparece en el texto.

Para llenar ese diccionario uso lo siguiente:

texto = ...se carga de un archivo .txt...

dicc = {}
for word in texto.split():
    if word in dicc:
        dicc[word] += 1
    else:
        dicc[word] = 1

# ...desplegar el diccionario en forma de wordcloud...

Dirán que es una payasada, porque mi código funciona perfectamente, pero ¿hay otra forma? ¿algo más eficiente?

5
  • Los diccionarios se poblan con pares ordenados de elementos (llave y valor). ¿Con qué valores estabas llenado el diccionario :0?
    – user166844
    el 15 jul. 2020 a las 16:46
  • Se me ocurre una expresión generadora, que rellenas las llaves del diccionario con las palabras de texto y los valores con None: dicc = {x:None for x in texto.split()}, pero no sé si eso es lo que intentas.
    – user166844
    el 15 jul. 2020 a las 16:49
  • 1
    Si. Muestra un ejemplo de texto de entrada y el resultado, para poder chequear. Revisa Cómo crear un ejemplo mínimo, completo y verificable.
    – Candid Moe
    el 15 jul. 2020 a las 16:49
  • Claramente dice ahí lo que traté, no pensé que requerirían mayor detalle, porque es bastante claro ("gracias" por la recomendación Candid). Hay un diccionario vacío y este se va llenando llave, valor con dicc[word]. (Así es como se llena un diccionario en Python) el 16 jul. 2020 a las 13:26
  • Gracias gcoronel99. La generadora que propones solo carga el diccionario con los valores únicos, pero no tengo la cuenta de cada uno de las veces que ocurre una palabra (los valores los deja nulos), que es lo que se busca para un wordcloud. @Candid Moe: [es.wikipedia.org/wiki/Nube_de_palabras](Definición de WordCloud) el 16 jul. 2020 a las 13:31

2 respuestas 2

2

Hay dos formas de mejorar la eficiencia y sobre todo la legibilidad.

defaultdict

Un defaultdict es un diccionario en el que cuando intentas acceder a una clave que no existía, en vez de generar una excepción, la crea en ese instante con un valor por defecto. El valor por defecto depende del tipo asociado al defaultdict. Si le asocias el tipo int, el valor por defecto será 0.

Haciendo uso de esto, el diccionario se puede poblar así:

from collections import defaultdict

dicc = defaultdict(int)
for word in texto.split():
   dicc[word] += 1

No es necesario verificar si la palabra estaba o no en el diccionario, ya que al intentar acceder a ella, si no estaba, se creará y se le asociará el valor 0, que seguidamente incrementamos con el +=1.

Counter

Lo que intentas hacer es tan común que Python te da una clase que ya lo hace por tí. Es la clase Counter. Ya que internamente está implementada en C será aún más rápida que la implementación anterior, al evitarse el bucle for en Python.

Se usaría así:

from collections import Counter

c = Counter(texto.split())

La variable c resultante es de tipo Counter y tiene métodos como most_common() que te devuelve la lista de palabras más frecuentes. Por otro lado se comporta como un diccionario por lo que puedes iterar por él, o acceder al contador de una palabra concreta.

1
  • 1
    Excelente, lo que estaba buscando es algo como el Counter. Muchísimas gracias. Lo del defaultdict también está super interesante, no sabía que existía (bueno, ninguno de los dos 😉) el 16 jul. 2020 a las 13:33
0

No es mucho lo que se pueda en términos de eficiencia, pues por cada palabra en el texto haces solo una comparación y una operación (suma o inicialización).

La función split() genera una lista, que será tan grande como el texto de entrada. La recomendación es procesar el texto por líneas o párrafos para reducir el uso de memoria.

Pero split() no es lo màs apropiado, ya que deja palabras con caracteres especiales. Considera esta línea de Don Quijote:

-¡Ay! -respondió Sancho, llorando-: no se muera vuestra merced, señor mío,

Para esa línea, split() produce

['-¡Ay!', '-respondió', 'Sancho,', 'llorando-:', 'no', 'se', 'muera', 'vuestra', 'merced,', 'señor', 'mío,']

Como ves, hay varias palabras por limpiar.

La solución es usar expresiones regulares que capturen sólo la parte alfanumerica, junto con findall() en lugar de split(), asi

import re
exp = re.compile("[\d\w]+")
exp.findall("-¡Ay! -respondió Sancho, llorando-: no se muera vuestra merced, señor mío,")

produce:

['Ay', 'respondió', 'Sancho', 'llorando', 'no', 'se', 'muera', 'vuestra', 'merced', 'señor', 'mío']

donde las palabras ya están limpias.

Aun falta reducir todas las palabras a minùsculas, para no contar como diferentes las palabras que se deben poner con mayùscula inicial.

Estoy usando como texto "El Quijote de la Mancha", extraido del Proyecto Gutenberg. Para contar las palabras en este texto, el código queda asi:

import re

exp = re.compile("[\d\w]+")
cuenta = {}

with open("quijote.txt", "r") as file:
    for line in file:
        for word in exp.findall(line):
            word = word.lower()
            if word in cuenta:
                cuenta[word] += 1
            else:
                cuenta[word] = 1


for word, nro in cuenta.items():
    print(word, nro)

produce:

zoraida 78
maderos 1
briareo 1
encaminéis 1
atrancar 1
estudiado 4
advertidas 1
entrados 1
enfrascó 1
habríades 1
tropa 3
poderle 2
curiambro 2
arremetió 23
puedes 32
rasgará 1
conquisto 1
bebidas 1
tocadores 8
conocerle 8
gigantes 31
equinocial 2
... etc ...

Observaciones:

Este código es útil para textos en lenguaje natural. Si deseas analizar programas fuentes, hay que redefinir lo que significa una palabra, segùn el lenguaje.

También hay que mejorar la expresión regular para capturar apropiadamente nombres como O'Brian y Stratford-upon-Avon:

import re
exp = re.compile("[\d\w]+(?:['-][\d\w]+)*")
exp.findall("Patrick O'Brien Perez-Cotapos Stratford-upon-Avon -a b- Lois' x")

produce:

['Patrick', "O'Brien", 'Perez-Cotapos', 'Stratford-upon-Avon', 'a', 'b', 'Lois', 'x']
1
  • Muchas gracias por la respuesta, la verdad es que la limpieza del diccionario ya lo tenía resuelto, no lo puse para no hacer más compleja la pregunta. Los pasos que sigo son: 1) cargar los datos, 2) hacer el diccionario, 3) limpiar el diccionario y 4) desplegar el wordcloud. 1, 3 y 4 ya los tenía resuelto, y con código muy chiquito, pero el 2 me parecía demasiado código. Me gusta que mi código sea breve y use las librerías estándar lo más posible. Gracias el 16 jul. 2020 a las 13:36

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.