1

Tengo un dataframe (df) con 30 columnas y 40000 filas. Quiero analizar todas las columnas (menos las dos primeras) para que compare si hay valores iguales a la fila anterior. Para analizar una columna, hago lo siguiente:

df['match'] = df.Price.eq(df.Price.shift())
df.Result = df.Price.eq(df.Price.shift()).astype(int)

Ese código me analiza la columna Price y me devuelve en la columna "match" valores verdadero o falso (si estan repetidos o no) y en Result los pongo como 1 (verdadero) o 0 (falso). Ahora me gustaría hacerlo para todas las columnas que tuvieran números (las dos primeras) y poner un 1 si cualquier columna de la fila fuera repetido (igual al valor de esa columna y de la fila anterior)

df_numeric = df.select_dtypes(include=[np.number])
numeric_cols = df_numeric.columns.values

df_non_numeric = df.select_dtypes(exclude=[np.number])
non_numeric_cols = df_non_numeric.columns.values

numeric_cols es una lista de todas las columnas que tienen números, que son las que me gustaría recorrer.

1 respuesta 1

1

Primero construyamos un dataframe con números para ilustrar mejor el ejemplo. Este dataframe tiene varias columnas con diferentes tipos de datos, de entre las cuales nos interesan solo a efectos del algoritmo las llamadas "Price1", "Price2" y "Price3".

Este es el ejemplo:

Time  Price1  Price2  Price3  Result   
1:10   4.23   4.23    4.23     0        
1:20   5.80   5.80    5.80     0        
1:30   6.12   6.12    6.12     0         
1:40   6.5    6.5     6.12     0         
1:50   6.5    6.6     6.6      0        
2:00   6.7    6.7     6.7      0         
2:10   6.8    6.7     6.8      0         
2:20   5      5       5.3      0         
2:30   5.3    5.3     5.3      0  

La columna Result no contiene aún los resultados buscados.

  • Lo primero es quedarse con el sub-dataframe que contiene solo los números que nos interesan. Esto puede hacerse seleccionando solo las columnas de interés, por su nombre, así:

    df[["Price1", "Price2", "Price3"]]
    

    O si fueran muchas puede ser más interesante seleccionarlas por sus índices, por ejemplo, todas las columnas salvo la primera y la última:

    df.iloc[:, 1:-1]
    

    En tu caso también puedes hacer df[numeric_cols].

    Cualquiera de estos métodos nos dejaría en un dataframe que sólo contiene las columnas que nos interesan (en mi ejemplo supondré que son las tres llamadas "Price")

  • Lo segundo aplicar la operación .diff() sobre el dataframe resultante. Esto resta a cada fila la anterior, dejando como resultado un dataframe que contendrá ceros en los lugares en que el dato era igual al de la fila anterior. Si aplicamos la comparación == 0 entonces tendremos True en esas posiciones (en las que el dato era igual al de la fila anterior)

    >>> df.iloc[:, 1:-1].diff() == 0
        Price1  Price2  Price3
    0   False   False   False
    1   False   False   False
    2   False   False   False
    3   False   False    True
    4    True   False   False
    5   False   False   False
    6   False    True   False
    7   False   False   False
    8   False   False    True
    
  • Ahora podemos aplicar la oepración .any() al resultado para que "junte" las columnas en una sola, en la que debe aparecer True si cualquiera (any) de los datos de la fila era True. (También tienes la operación .all() si la condición que buscas es que todos los datos de la fila sean True).

    Para que .any() opere "en horizontal" (por filas) hay que decirle axis=1. De lo contrario operaría por columnas (dando True si aparece al menos un True en la columna), dando al final sólo un booleano por columna. Nosotros queremos un booleano por fila:

    >>> (df.iloc[:, 1:-1].diff()==0).any(axis=1)
    0    False
    1    False
    2    False
    3     True
    4     True
    5    False
    6     True
    7    False
    8     True
    
  • Ya solo queda convertir esa columna a enteros y asignarla al resultado.

En una sola instrucción:

df.Result = (df.iloc[:, 1:-1].diff()==0).any(axis=1).astype(int)

   Time  Price1  Price2  Price3  Result
0  1:10    4.23    4.23    4.23       0
1  1:20    5.80    5.80    5.80       0
2  1:30    6.12    6.12    6.12       0
3  1:40    6.50    6.50    6.12       1
4  1:50    6.50    6.60    6.60       1
5  2:00    6.70    6.70    6.70       0
6  2:10    6.80    6.70    6.80       1
7  2:20    5.00    5.00    5.30       0
8  2:30    5.30    5.30    5.30       1
9
  • Justo lo que buscaba, muchas gracias.
    – Gorka3
    Commented el 1 mar. 2021 a las 10:03
  • Para hacer lo mismo con la condición que me solucionaste el otro día (valores seguidos, haciendo la diferencia de la diferencia = 0), ¿con hacer esto mismo funcionaría?
    – Gorka3
    Commented el 1 mar. 2021 a las 10:05
  • Sí, salvo que la diferencia de la diferencia puede acumular errores de redondeo y entonces fallarte la comparación con 0, por lo que mejor usar .abs() < EPSILON, como en aquella respuesta.
    – abulafia
    Commented el 1 mar. 2021 a las 10:06
  • Lo he probado (con el EPSILON incluido) y me funciona. Gracias otra vez.
    – Gorka3
    Commented el 1 mar. 2021 a las 10:14
  • ¿Sería posible combinar ambas condiciones, y que si se repite me devolviera un 1 y si son valores seguidos un 2? Y si se cumplen ambas que fuera un 1. Si no se cumple ninguna sería el 0.
    – Gorka3
    Commented el 1 mar. 2021 a las 10:18

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.