1

Estaba leyendo la respuesta de FJSevilla en la pregunta "Error en resutado de sumatoria de arrays mediante concurrencia usando hilos", y una parte me dejó en duda:

Usar time o datetime para medir tiempos de ejecución no es nada preciso, solo te puede valer como referencia. Para éstas cosas tienes el módulo timeit.

¿Por qué no usar estos módulos? Entiendo que son suficientemente precisos (time.time() tiene precisión de hasta 0.001 ms en Mac/Linux y 16ms en Windows). ¿O es algo solo para computación asíncrona, como es el caso de la pregunta? ¿Es específico para alguna versión de Python?

1 respuesta 1

2

Las razones por las que timeit (o útiles basados en él como los comandos mágicos %timeit y %%timeit de IPython) son varias realmente.

En cuanto al timer interno que usa, tema que mencionas, timeit siempre va a usar el más preciso que disponga dependiendo del sistema. Actualmente usa time.perf_counter.

Otra diferencia, quizás la más obvia, es que timeit no realiza una sola ejecución normalmente, permite realiza varias para obtener distintas muestras de las que obtener las mejores y aplicar la media. Esto permite mitigar la influencia de factores externos que puedan sesgar el resultado como operaciones de escritura, que el SO decida poner a dormir el hilo en un determinado momento para dar prioridad a otro proceso, etc. Es decir, cosas externas al propio proceso pero que influyen en el tiempo de ejecución, en algunos casos notablemente.

$ python -m timeit '[n for n in range(10000) if n % 3]'
500 loops, best of 5: 504 usec per loop

$ python -m timeit -n 1000 '[n for n in range(10000) if n % 3]'
1000 loops, best of 5: 505 usec per loop

Por otro lado timeit por defecto desactiva el recolector de basura, aunque podemos activarlo si queremos. Esto impide que, dado que no controlamos cuando el recolector de basura va a hacer una pasada, se inicie una recolección justo en el momento que hacemos el test, lo cual incrementará el tiempo de ejecución obviamente en algunas medidas.

La ventaja principal de ésto es que hace que distintas mediciones sean más comparables entre si al no depender de si en una el GC se metió por medio y en otras no.

Obviamente, el GC es parte del lenguaje y nos puede interesar evaluar el código teniéndolo también en cuenta dado que lo normal es que esté activado cuando se ejecute en condiciones normales. Como comentaba antes, se puede activar:

$ python -m timeit -n 1000 --setup 'gc.enable()' '[n for n in range(10000) if n % 3]'    
1000 loops, best of 5: 511 usec per loop

Dado que lo mencionaba antes, %timeit y %%timeit de IPython/Jupyter son muy cómodos para evaluar tiempos de ejecución, el primero de una línea y el segundo de una celda al completo:

%%timeit

mul = []
for n in range(10000):
    if n % 3:
        mul.append(n)

776 µs ± 7.23 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

Por último, si ésto no es suficiente y queremos entrar en detalles podemos hacer análisis de rendimiento de software cProfile/profile también de la stdlib:

import cProfile
cProfile.run("[n for n in range(10000000) if n % 3]")
4 function calls in 0.654 seconds

Ordered by: standard name

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     1    0.591    0.591    0.591    0.591 <string>:1(<listcomp>)
     1    0.063    0.063    0.654    0.654 <string>:1(<module>)
     1    0.000    0.000    0.654    0.654 {built-in method builtins.exec}
     1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.