5

(Aclaración importante: el código y explicación de que se trata de un script Python es meramente un añadido, aclaro muy bien que lo único que necesito es añadir recursos a CPU) Lo que quiero en sí es saber como administrar o dedicar más recursos a mi CPU para un script en Python.

Recientemente cree un script en Python, en el que abre un Excel de aproximadamente 1millon de filas, con diferentes precios, a esa lista la recorre completamente haciendo cálculos matemáticos simples..

Aqui un Muy resumido ejemplo de mi código:

from pylab import *
import matplotlib
import matplotlib.pyplot as plt
import numpy as np

class Trader():
def __init__(self):

   self.ve = pd.read_excel('41a49.xlsx')
   self.ve = parse_dataframe2(self.ve)
   
   velas=len(ve.index)
   
   for i in range(velas-1):
       dateHora = ve.loc[i,'date']
       nDia=(dateHora.day)
       
       if (dia!=nDia):
           self.precioInicio = ve.loc[i,'open']

       if (status>=1)&(status<=6)&(pActual<=self.precio-300):
           status=7
           lista.append(ve.loc[i,'date'])

El problema es que mi consola usa muy poco porcentaje de CPU para dicho proceso, y veo que el código tarda en finalizar unos 7 minutos.. no importando si yo tengo otros procesos abiertos.. mi pregunta es: Es posible dedicar todos o la mayoría de los recursos a la consola? osea que mi script se ejecute a la máxima velocidad que mi CPU pueda?

un ejemplo de una fila del Excel

2021-03-26 00:00:00+00:00 55605 55699 55558 55666

siendo las columnas: fecha, inicio, máximo, mínimo, cierre.

Mi script examina la hora y según si el máximo supera un valor predeterminado hace un calculo simple.. El problema sigue siendo que la lista tiene tantas filas que el proceso se demora

La única solución que intente fue limpiar al máximo mi código, pero la realidad es que no es la solución a mi problema, sino que quiero dedicar el máximo de recursos posibles.

6
  • 1
    Esto va más dedicado a la cpu y sus recursos no importa mucho el código, otra cosa serie la eficiencia del código pero creo que esa no es tu pregunta, por favor edita tu pregunta y lee Cómo preguntar
    – Christian
    el 8 abr. 2021 a las 2:15
  • Christian.. yo se que va mas dedicado a la cpu.. solamente quise poner parte del codigo por si alguien queria asegurarse de que el codigo no tenga un problema nunca esta de mas... por otro lado usted sabe como dedicar mas recursos al cpu? lei completamente como preguntar y creo que no me estoy equivocando solo AÑADI algunas cosas
    – slot-29
    el 8 abr. 2021 a las 2:34
  • Lamentablemente no se hacerca de eso, por eso te dije que editaras tu pregunta para que sea más fácil que alguien te ayude
    – Christian
    el 8 abr. 2021 a las 3:15
  • 1
    Lo que estás viendo como CPU, probablemente es la suma de todos tus núcleos, que son en realidad CPU's distintos en tu máquina. Si quieres sacar provecho al hardware, debes ver la manera de procesar en paralelo tus registros. La paralelización es la única forma de utilizar los otros CPU's disponibles en tu equipo.
    – jachguate
    el 8 abr. 2021 a las 3:20
  • 1
    Sobre la paralelización, evalúa utilizar la biblioteca parallel o bien directamente multi hilos (parallel lo hará tras bambalinas). En algunos casos convendrá más uno que el otro.
    – jachguate
    el 8 abr. 2021 a las 3:25

1 respuesta 1

1

Esto no es aún una respuesta completa, sino sólo en parte, más una petición de aclaraciones que debería ser un comentario pero no me cabe en uno.

El problema

El problema es que Python, por defecto, ejecuta todo tu código en un solo proceso y en un solo hilo. Eso hace que el sistema operativo asigne ese proceso e hilo a un sólo núcleo de los muchos que pueda tener tu sistema. Dentro de ese núcleo Python competirá con otros procesos e hilos que estén en ejecución en el sistema, pero la mayor parte del uso de ese core corresponderá al proceso Python.

Aún si Python estuviera completamente solo en ese core, con toda la potencia de ese núcleo para él solo, y llegara a usar al 100% del mismo, es muy probable que el resto de núcleos del sistema estuvieran con una ocupación muy baja. Como consecuencia la ocupación total del sistema será una fracción de toda la posible.

Por ejemplo, si tienes cuatro cores y python usa uno al 100% estando los tres restantes prácticamente libres, verías una ocupación total en torno al 25%.

La solución

La solución es tratar de usar el resto de núcleos, para lo cual el código debería lanzar más procesos o hilos. Esto suele requerir el particionado del dataframe en varios trozos (tantos como núcleos), y el uso de una librería como multiprocessing. No es del todo trivial (aunque tampoco demasiado difícil gracias a esa librería).

Otra solución es usar dash en lugar de pandas. dash es una librería que por si sola ya intenta hacer esta paralelización y usar todos los núcleos disponibles. Su filosofía de uso es similar a la de pandas por lo que quizás no tendrías demasiado problema en adaptar el código.

Pero antes de eso...

Antes de intentar paralelizar tu implementación, yo sugeriría tratar de optimizarla, aún si se está ejecutando sobre un solo core.

Por el código que adjuntas parece que estás usando algún tipo de bucle para recorrer de uno en uno los elementos del dataframe. Esto es altamente ineficiente, debido a que esa iteración la estás haciendo desde el propio Python. Pandas tiene funciones vectorizadas que realizan esas iteraciones internamente y que son decenas de veces más rápidas que un bucle python (pues internamente están hechas en C).

Te pediría que proporcionaras (editando tu pregunta) un trozo de código más completo en el que se vea si realmente estás iterando. El código que has puesto está claramente incompleto pues no se ve dónde inicializas velas, ni queda claro qué procesamiento es el que intentas hacer con el dataframe.

Si aclaras mejor este punto, sería posible darte ideas sobre cómo mejorar ese código usando las funciones vectorizadas de pandas. Esto ya mejorará enormemente el tiempo de ejecución, pero es que además hará posible una paralelización mucho más eficiente si es que al final decides intentar más núcleos. La paralelización será más eficiente no sólo porque cada núcleo terminará en menos tiempo, sino porque además se reducirá la interferencia entre núcleos, debido a que pandas está internamente codificada en C y eso libera el GIL[1] durante la ejecución de sus funciones.

[1]: El GIL (Global Interpreter Lock) es un asunto muy técnico, pero digamos que es una parte de python que estorba mucho a la programación multihilo, al forzar que los hilos se vayan ejecutando por turnos, de uno en uno mientras los demás están parados, aún si cada hilo está en un núcleo diferente.

2
  • tu respuesta fue la de una persona sincera y que sabe lo que esta hablando y era todo lo que necesitaba.. todo lo que dices lo voy a implementar y llegado a un resultado lo respondere muchas gracias!!
    – slot-29
    el 8 abr. 2021 a las 16:53
  • Recientemente añadí algunos detalles al codigo.
    – slot-29
    el 8 abr. 2021 a las 17:13

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.