0

Trabajo con Python 3.5 y con la libreria Pandas.

Tengo el siguiente dataframe

import pandas as pd

df = pd.DataFrame({'IdActivo': [1,2,3,3,2,1,3], 'Fecha' : ['2009-01-01','2009-02-01','2009-02-01','2009-03-01','2009-03-01','2009-03-01','2009-04-01'], 'Cierre' : [25.5,26.5,25.8,26.8,24.8,27.5,27.8]})

print(df.loc[:,['IdActivo','Fecha','Cierre']])

Al ejecutarlo obtengo el dataframe:

introducir la descripción de la imagen aquí

Pues bien, necesito realizar el siguiente proceso:

1- Añadir una nueva columna llamada media móvil.

2- Que el valor de esa columna sea la media móvil de los dos registros anteriores para el idactivo de ese registro ordenador por fecha ascendente.

Realmente estoy intentando "traducir" un proceso que realizo en SQL Server con el uso de: AVG OVER PARTITION BY IDACTIVO ORDER BY FECHA ASC. Con lo que obtengo este resultado:

introducir la descripción de la imagen aquí

Por eso me pregunto de qué forma puedo llevar esto a cabo en Python.

¿alguna idea de cómo desarrollarlo?¿ qué conceptos o procesos debería investigar?

Muchas gracias

Angel

3
  • Si entiendo bien quieres, por ejemplo, que cuandi IdActivo es 1, ordene todas las filas que tengan ese IdActivo por fechas y saque la media de los dos valores anteriores a la fecha de la fila. ¿Es así o lo puede clarificar un poco mejor? el 19 ene. 2017 a las 14:04
  • Si, asi es...el idactivo es un activo financiero que tengo en mi base de datos y con el cual he creado un dataframe. Basicamente, necesito obtener la media movil de sus cotizaciones. Al cargar varios idactivos distintos el cálculo de dicha media movil entiendo deberia localizar las cotizaciones anteriores para el idactivo en cuestion y calcularlas sobre ellas. Como te comento en SQL se solventa con la clausula over partition by pero aqui no sé cómo desarrollarlo. Gracias el 19 ene. 2017 a las 14:43
  • Que yo sepa, la funcionalidad Window SQL no está disponible de igual a igual en pandas pero se puede conseguir de alguna otra forma. Mira la respuesta a ver si te ayuda. el 19 ene. 2017 a las 15:20

2 respuestas 2

1

Amigo deberías probar con el código:

df['MA2']=df['Cierre'].rolling(window=2).mean().shift(1)

El complemento .rolling(window=NumeroDeMediasMoviles).mean() logra obtener las medias móviles a partir del promedio de los dos datos anteriores, el shift es para poder mover un espacio la media y así la media móvil del periodo N será igual al promedio del periodo N-1 y N-2, sin esa parte del código sacaría el promedio del periodo N y N-1 para esa misma posición, así que con eso regulamos que las medias sean de los dos periodos anteriores.

0

Con Pandas puedes leer directamente de una base de datos usando SQL queries. Necesitarás el driver de la base de datos de turno.

http://pandas.pydata.org/pandas-docs/stable/io.html#sql-queries

Si ya tienes el dataframe se me ocurre una forma que no sé si será muy eficiente. Dejo el código y luego lo comento:

import numpy as np
import pandas as pd

df = pd.DataFrame({
    'IdActivo': [1,2,3,3,2,1,3], 
    'Fecha' : [
        '2009-01-01','2009-02-01','2009-02-01','2009-03-01',
        '2009-03-01','2009-03-01','2009-04-01'
    ], 
    'Cierre' : [25.5,26.5,25.8,26.8,24.8,27.5,27.8]
})

def mediarara(df):
    o = df.sort_values(by=['IdActivo', 'Fecha'])
    o['movil'] = o['Cierre'].rolling(2).mean()
    idx = o.iloc[1:]['IdActivo'].values != o.iloc[:len(o)-1]['IdActivo'].values
    idx = np.append([True], idx)
    o.loc[idx, 'movil'] = np.nan
    return o['movil'].sort_index()

df['movil'] = mediarara(df)

print(df)

En realidad, lo único que habría que comentar es la función mediarara. Línea a línea sería:

o = df.sort_values(by=['IdActivo', 'Fecha']) ordena por los valores de las columnas IdActivo y Fecha. El resultado sería:

   Cierre       Fecha  IdActivo
0    25.5  2009-01-01         1
5    27.5  2009-03-01         1
1    26.5  2009-02-01         2
4    24.8  2009-03-01         2
2    25.8  2009-02-01         3
3    26.8  2009-03-01         3
6    27.8  2009-04-01         3

o['movil'] = o['Cierre'].rolling(2).mean() esta línea crea una columna con los valores de la media de los dos últimos valores. Dependiendo de la versión de pandas quizá rolling no esté disponible y tengas que usar rolling_mean. El resultado es:

   Cierre       Fecha  IdActivo  movil
0    25.5  2009-01-01         1    NaN
5    27.5  2009-03-01         1  26.50
1    26.5  2009-02-01         2  27.00
4    24.8  2009-03-01         2  25.65
2    25.8  2009-02-01         3  25.30
3    26.8  2009-03-01         3  26.30
6    27.8  2009-04-01         3  27.30

Ya tenemos la columna con la media móvil pero nos sobran valores que no cumplen los requisitos.

idx = o.iloc[1:]['IdActivo'].values != o.iloc[:len(o)-1]['IdActivo'].values con esta línea veo cuando el IdActivo de mi línea y de la línea anterior NO son iguales devolviéndome un array de booleanos.

idx = np.append([False], idx) como la línea anterior me ha devuelto un array con N-1 elementos le añado uno al principio con True ya que el primer elemento no tiene uno previo para promediar.

o.loc[idx, 'movil'] = np.nan igualo los valores de la columna movil que no cumplen a NaN.

Y finalmente devuelvo la columna movil ordenada por los índices originales.

Por tanto, el df ahora dispondría de una nueva columna y tendría la siguiente forma:

   Cierre       Fecha  IdActivo  movil
0    25.5  2009-01-01         1    NaN
1    26.5  2009-02-01         2    NaN
2    25.8  2009-02-01         3    NaN
3    26.8  2009-03-01         3  26.30
4    24.8  2009-03-01         2  25.65
5    27.5  2009-03-01         1  26.50
6    27.8  2009-04-01         3  27.30
3
  • La parte que no consigo entender del todo es aquella en la que haces idx = np.append([False], idx). Exactamente cuando comentas "como la línea anterior me ha devuelto un array con N-1 elementos le añado uno al principio con True"... Llevo un rato dándole vueltas y no lo capto. Y esta bien porque tu script por supuesto funciona correctamente con diferentes medias móviles. el 19 ene. 2017 a las 19:40
  • En la siguiente línea, o.loc[idx, 'movil'] = np.nan, quiero usar el array de booleanos para rellenar con NaNs y para ello necesito que idx tenga N elementos. En la primera operación con idx solo tengo un array de N-1 elementos por lo que para tener un array completo (N elementos) necesito añadir un valor más delante. No sé si ahora me explico mejor. el 20 ene. 2017 a las 6:59
  • Si, ahora si lo he entendido. Tu explicación más la depuración del código que hice me ha hecho entenderlo. Gracias el 24 ene. 2017 a las 19:26

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.