1

estoy usando python y pandas para ordenar un dataframe que he catogorizado usando una columna con datos booleanos como la siguiente:

df:

X    Y    PROB
2    4    False
3    5    False
3    2    False
4    4    True
3    7    True
2    4    False
2    3    False

quiero obtener 2 nuevos dataframes que presenten los datos 'X' y 'Y' con Falsos consecutivos o Verdaderos consecutivos como sigue para Falsos:

X   Y  PROB
2   4   1
3   5   1
3   2   1
2   4   2  
2   3   2

en el caso de los verdaderos:

X   Y  PROB
4   4   1
3   7   1

Hasta el momento estoy usando factorize pero no logro la sintaxis correcta para presentar los datos, alguna idea?

1 respuesta 1

1

Primero vamos a crear un ejemplo reproducible basado en el que proporcionas:

import pandas as pd


data = {'X': [2, 3, 3, 4, 3, 2, 2], 
        'Y': [4, 5, 2, 4, 7, 4, 3], 
        'PROB': [False, False, False, True, True, False, False]
        }
df = pd.DataFrame(data, columns = ['X', 'Y', 'PROB'])

Para solventar estos casos, una forma muy simple es usar pandas.DataFrame.shift para comparar cada elemento con el anterior y ver si son iguales. Si se usa junto a pandas.DataFrame.cumsum obtenemos las categorías numeradas. Por ejemplo:

>>> df['Categorias'] = (df.PROB != df.PROB.shift()).cumsum()
>>> df

   X  Y   PROB  Categorias
0  2  4  False           1
1  3  5  False           1
2  3  2  False           1
3  4  4   True           2
4  3  7   True           2
5  2  4  False           3
6  2  3  False           3

En tu caso, quieres que la numeración de las categorías sean independientes para cada sub-dataframe obtenido al separar según la columna PROB. Para ello podemos volver a aplicar la misma operación sobre cada DataFrame obtenido. Para obtener los "verdaderos" y "falsos" basta con usar la columna PROB como mascara booleana:

aux = (df.PROB != df.PROB.shift()).cumsum()    

falsos = df[~df.PROB].copy()
falsos['PROB']=(aux[~df.PROB]!=aux[~df.PROB].shift()).cumsum()

verdaderos = df[df.PROB].copy()
verdaderos['PROB']=(aux[df.PROB]!=aux[df.PROB].shift()).cumsum()

del(aux) 

Salida:

>>> df

   X  Y   PROB
0  2  4  False
1  3  5  False
2  3  2  False
3  4  4   True
4  3  7   True
5  2  4  False
6  2  3  False

>>> verdaderos

   X  Y  PROB
3  4  4     1
4  3  7     1

>>> falsos

   X  Y  PROB
0  2  4     1
1  3  5     1
2  3  2     1
5  2  4     2
6  2  3     2
2
  • Funciona muy bien, estaba intentando algo parecido, pero me quedaba en el df con la columna de categorias, de alli intentaba usar groupby('PROB') para despues cortar el dataframe, pero creo que no es posible conusar 'groupby' con booleanos? Muchas gracias! el 1 sep. 2017 a las 0:25
  • @JonathanPacheco no se que estabas intentando por lo que solo te puedo comentar que si se puede usar groupby con columnas booleanas, por ejemplo podemos obtener los dataframes a partir del primer ejemplo que doy con algo como gb = df.groupby("PROB"); verdaderos = gb.get_group(True); falsos = gb.get_group(False). No obstante es mucho más simple y eficiente en este caso usar un filtro booleano. Un saludo.
    – FJSevilla
    el 1 sep. 2017 a las 0:55

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.