Las razones por las que timeit
(o útiles basados en él como los comandos mágicos %timeit
y %%timeit
de IPython) son varias realmente.
En cuanto al timer interno que usa, tema que mencionas, timeit
siempre va a usar el más preciso que disponga dependiendo del sistema. Actualmente usa time.perf_counter.
Otra diferencia, quizás la más obvia, es que timeit
no realiza una sola ejecución normalmente, permite realiza varias para obtener distintas muestras de las que obtener las mejores y aplicar la media. Esto permite mitigar la influencia de factores externos que puedan sesgar el resultado como operaciones de escritura, que el SO decida poner a dormir el hilo en un determinado momento para dar prioridad a otro proceso, etc. Es decir, cosas externas al propio proceso pero que influyen en el tiempo de ejecución, en algunos casos notablemente.
$ python -m timeit '[n for n in range(10000) if n % 3]'
500 loops, best of 5: 504 usec per loop
$ python -m timeit -n 1000 '[n for n in range(10000) if n % 3]'
1000 loops, best of 5: 505 usec per loop
Por otro lado timeit
por defecto desactiva el recolector de basura, aunque podemos activarlo si queremos. Esto impide que, dado que no controlamos cuando el recolector de basura va a hacer una pasada, se inicie una recolección justo en el momento que hacemos el test, lo cual incrementará el tiempo de ejecución obviamente en algunas medidas.
La ventaja principal de ésto es que hace que distintas mediciones sean más comparables entre si al no depender de si en una el GC se metió por medio y en otras no.
Obviamente, el GC es parte del lenguaje y nos puede interesar evaluar el código teniéndolo también en cuenta dado que lo normal es que esté activado cuando se ejecute en condiciones normales. Como comentaba antes, se puede activar:
$ python -m timeit -n 1000 --setup 'gc.enable()' '[n for n in range(10000) if n % 3]'
1000 loops, best of 5: 511 usec per loop
Dado que lo mencionaba antes, %timeit
y %%timeit
de IPython/Jupyter son muy cómodos para evaluar tiempos de ejecución, el primero de una línea y el segundo de una celda al completo:
%%timeit
mul = []
for n in range(10000):
if n % 3:
mul.append(n)
776 µs ± 7.23 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
Por último, si ésto no es suficiente y queremos entrar en detalles podemos hacer análisis de rendimiento de software cProfile
/profile
también de la stdlib:
import cProfile
cProfile.run("[n for n in range(10000000) if n % 3]")
4 function calls in 0.654 seconds
Ordered by: standard name
ncalls tottime percall cumtime percall filename:lineno(function)
1 0.591 0.591 0.591 0.591 <string>:1(<listcomp>)
1 0.063 0.063 0.654 0.654 <string>:1(<module>)
1 0.000 0.000 0.654 0.654 {built-in method builtins.exec}
1 0.000 0.000 0.000 0.000 {method 'disable' of '_lsprof.Profiler' objects}