Una posible fuente de ineficiencia en tu código es la línea que dice:
correccion += correct(split_nombre[a]) + " "
pues está usando la operación de concatenación de cadenas. Esta operación requiere por parte de Python la creación de una nueva cadena cada vez que añades algo a la antigua, pues las cadenas son inmutables y la única forma que tiene Python de añadirles texto es crear una nueva cadena con el texto añadido y descartar la anterior.
Si en lugar de ir añadiendo cada palabra procesada a una cadena lo haces a una lista, no pagarías esa penalización, pues las listas sí son mutables y se les puede añadir elementos. Es decir, cambiaría tu bucle por este otro:
correccion = []
for a in range(len(split_nombre)):
correccion += correct(split_nombre[a])
El resultado sería la lista de las palabras corregidas, en la variable correccion
. A partir de esta lista puedes volver a generar una cadena con esas palabras separadas por espacios, mediante " ".join(correccion)
, por lo que podrías hacer al salir del bucle:
array_articulos[i][4] = " ".join(correccion)
Creo que por este lado ya ganarías algo de velocidad (por favor, reporta en un comentario cuánta ganancia has obtenido).
Al margen de esto, la legibilidad del código también puede mejorarse si evitas iterar por índices, e iteras directamente sobre los valores, lo cual es más pythónico y limpio. Quedaría así:
for articulo in array_articulos:
nombre = elimina_tildes(articulo[4]).upper()
correccion = []
for palabra in nombre.split():
correccion += correct(palabra)
articulo[4] = " ".join(correccion)
Esta versión no va a tener más ganancia en velocidad, salvo porque evitamos llamar a len()
en diferentes puntos, pero sería inapreciable.
Si en vez de un bucle for usas una list comprehension, teóricamente podría ser ligeramente más rápido. Sería así:
for articulo in array_articulos:
nombre = elimina_tildes(articulo[4]).upper()
correccion = [correct(palabra) for palabra in nombre.split()]
articulo[4] = " ".join(correccion)
Si aún así es demasiado lento, habría que saber qué hacen exactamente las funciones elimina_tilde()
y correct()
, ya que quizás podrían también optimizarse si contienen bucles que concatenen cadenas.
Actualización
Una vez el usuario proporciona el código de la función correct()
puedo observar que, como me temía, es una función extraordinariamente compleja, pues llama a otras para determinar si se trata de una palabra conocida, o si alguna de sus muchas variaciones es conocida. Esta tarea es la que se lleva la mayor parte del tiempo de proceso.
No parece sencillo optimizar esas funciones, pero sin embargo sí parece que podríamos obtener ganancias de tiempo espectaculares usando una técnica bastante sencilla: memoización (sí, está bien escrito así, sin la r)
Esta técnica consiste en que una función que va a ser llamada a menudo y previsiblemente con los mismos parámetros, almacene una copia del resultado que había calculado, para no tener que volver a calcularlo. Cuando llames otra vez a la función con el mismo parámetro, retornará la copia ya pre-calculada.
En tu caso, es previsible que haya muchísimas palabras repetidas entre los miles de veces que llamas a la función. Las palabras correctamente escritas por ejemplo, aparecerán repetidas muchas veces. Pero aún las incorrectas también se repetirán bastante, pues los errores cabe suponer que serían comunes (una B en lugar de una V, una H que falta, etc.) Así que preveo que esta técnica pueda darte buenos resultados.
Por suerte aplicar esta técnica en Python es trivial gracias a la biblioteca functools
que trae ya implementado un decorador que hace todo el trabajo por tí. Basta que cambies:
def correct(word):
candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
return max(candidates, key=NWORDS.get)
por:
@functools.lru_cache(max_size=1000)
def correct(word):
candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
return max(candidates, key=NWORDS.get)
El parámetro max_size
le dice al decorador cuántas palabras cachear. Si hay más de 1000 palabras diferentes, empezará a descartar las que hayan sido usadas menos veces.
Observa que basta aplicar este decorador a correct()
y no al resto de funciones que tenías, pues todas las demás eran llamadas desde correct()
. Si llamas a correct()
con una palabra que ya había aparecido, correct()
retornará directamente el valor precalculado y no se llamará a ninguna de las otras, en particular a edits1()
o known_edits2()
que parecen las más pesadas.
Por favor, reporta el tiempo que ganas con este cambio. Tengo curiosidad :-)