No es mucho lo que se pueda en términos de eficiencia, pues por cada palabra en el texto haces solo una comparación y una operación (suma o inicialización).
La función split()
genera una lista, que será tan grande como el texto de entrada. La recomendación es procesar el texto por líneas o párrafos para reducir el uso de memoria.
Pero split()
no es lo màs apropiado, ya que deja palabras con caracteres especiales. Considera esta línea de Don Quijote:
-¡Ay! -respondió Sancho, llorando-: no se muera vuestra merced, señor mío,
Para esa línea, split()
produce
['-¡Ay!', '-respondió', 'Sancho,', 'llorando-:', 'no', 'se', 'muera', 'vuestra', 'merced,', 'señor', 'mío,']
Como ves, hay varias palabras por limpiar.
La solución es usar expresiones regulares que capturen sólo la parte alfanumerica, junto con findall()
en lugar de split()
, asi
import re
exp = re.compile("[\d\w]+")
exp.findall("-¡Ay! -respondió Sancho, llorando-: no se muera vuestra merced, señor mío,")
produce:
['Ay', 'respondió', 'Sancho', 'llorando', 'no', 'se', 'muera', 'vuestra', 'merced', 'señor', 'mío']
donde las palabras ya están limpias.
Aun falta reducir todas las palabras a minùsculas, para no contar como diferentes las palabras que se deben poner con mayùscula inicial.
Estoy usando como texto "El Quijote de la Mancha", extraido del Proyecto Gutenberg. Para contar las palabras en este texto, el código queda asi:
import re
exp = re.compile("[\d\w]+")
cuenta = {}
with open("quijote.txt", "r") as file:
for line in file:
for word in exp.findall(line):
word = word.lower()
if word in cuenta:
cuenta[word] += 1
else:
cuenta[word] = 1
for word, nro in cuenta.items():
print(word, nro)
produce:
zoraida 78
maderos 1
briareo 1
encaminéis 1
atrancar 1
estudiado 4
advertidas 1
entrados 1
enfrascó 1
habríades 1
tropa 3
poderle 2
curiambro 2
arremetió 23
puedes 32
rasgará 1
conquisto 1
bebidas 1
tocadores 8
conocerle 8
gigantes 31
equinocial 2
... etc ...
Observaciones:
Este código es útil para textos en lenguaje natural. Si deseas analizar programas fuentes, hay que redefinir lo que significa una palabra, segùn el lenguaje.
También hay que mejorar la expresión regular para capturar apropiadamente nombres como O'Brian y Stratford-upon-Avon:
import re
exp = re.compile("[\d\w]+(?:['-][\d\w]+)*")
exp.findall("Patrick O'Brien Perez-Cotapos Stratford-upon-Avon -a b- Lois' x")
produce:
['Patrick', "O'Brien", 'Perez-Cotapos', 'Stratford-upon-Avon', 'a', 'b', 'Lois', 'x']