0

Estoy tratando de codificar un marco de datos pero necesito guardar las clases de objetivo para rastrearlas más tarde.

Sin embargo cuando busco para las clases del LabelEncoder con LabelEncoder.classes_, me da solamente las clases de la ultima columna.

Por ejemplo con la siguiente dataframe:

>>>import numpy as np
>>>import pandas as pd
>>>length = 10
>>>df_test = pd.DataFrame(np.random.randint(0,length,size=(length, 5)),columns = list('ABCDE'))
>>>df_test['D'] = ['D' + str(randrange(2)) for i in range(0,length)]
>>>df_test['E'] = ['E' + str(randrange(3)) for i in range(0,length)]
>>>df_test

    A   B   C   D   E
0   5   6   2   D1  E0
1   6   1   5   D0  E1
2   2   4   8   D0  E1
3   2   4   0   D1  E0
4   3   2   2   D1  E1
5   6   1   4   D0  E2
6   2   1   0   D0  E2
7   3   0   9   D1  E2
8   1   7   0   D1  E2
9   2   3   3   D0  E1

Cuando intento encodarla y separar los features del target, la columna D, con la siguiente funcion:

from sklearn.preprocessing import LabelEncoder
from random import randrange

def clean_df(df, target):
    ''' Clean a dataframe to get a dataframe ready to be sent to a DecisionTreeClassifier

        inputs:
            df: dataframe to clean
            target: column to predict
    '''            
    filtered_cols = [target]      
    le = LabelEncoder()

    # label encoding
    df = df.astype(str)
    X = df.apply(le.fit_transform)

    # split into input (X) and output (y) variables
    y = df[target]    #target column i.e price range
    return X, y, le

Me devuelve las columnas de E:

array(['E0', 'E1', 'E2'], dtype=object)

Sé, gracias a esta respuesta, que ahora hay probablemente metodos mas recientes como OneHotEncoder, aun no lo he dominado.

1 respuesta 1

0

LabelEncoder.classes_ devuelve las etiquetas de la última columna porque se invoca "fit" de nuevo para cada columna.

Es similar a lo siguiente:

for columna in df_test:
    le.fit(columna) #olvida las columnas previas
    df_test[columna] = le.transform(columna)

Si quieres almacenar todas las clases, debes usar distintas LabelEncoders para cada columna:


def clean_df(df, target):
    ''' Clean a dataframe to get a dataframe ready to be sent to a DecisionTreeClassifier

        inputs:
            df: dataframe to clean
            target: column to predict
    '''            
    filtered_cols = [target]
    label_encoders = {colname:LabelEncoder() for colname in df}

    # label encoding
    df = df.astype(str)
    for i in df:
        print(i)
        df[i] = label_encoders[i].fit_transform(df[i])

    # split into input (X) and output (y) variables
    y = df[target]    #target column i.e price range
    return df, y, label_encoders

X, y, label_encoders = clean_df(df_test, "D")

for colname, label_encoder in zip(X, label_encoders):
    print(colname + ":", label_encoders.classes_)

Entonces, se invoca "fit" solo una vez para cada LabelEncoder, y no se pierde nada.

A: ['0' '2' '4' '5' '6' '7' '8']
B: ['0' '1' '2' '4' '5' '8']
C: ['1' '2' '4' '5' '8' '9']
D: ['D0' 'D1']
E: ['E0' 'E1' 'E2']

Recomiendo que uses pd.get_dummies:

>>>pd.get_dummies(df_test)
   A  B  C  D_D0  D_D1  E_E0  E_E1  E_E2
0  2  5  6     0     1     0     0     1
1  8  7  3     0     1     0     0     1
2  7  5  4     1     0     0     1     0
3  1  6  6     0     1     0     0     1
4  7  4  9     1     0     1     0     0
5  9  1  9     0     1     0     1     0
6  7  3  4     1     0     1     0     0
7  8  1  6     1     0     1     0     0
8  9  0  0     1     0     1     0     0
9  5  0  8     0     1     0     0     1

Puedes especificar las columnas afectadas:

>>>pd.get_dummies(df_test,columns=["D"])
   A  B  C   E  D_D0  D_D1
0  2  5  6  E2     0     1
1  8  7  3  E2     0     1
2  7  5  4  E1     1     0
3  1  6  6  E2     0     1
4  7  4  9  E0     1     0
5  9  1  9  E1     0     1
6  7  3  4  E0     1     0
7  8  1  6  E0     1     0
8  9  0  0  E0     1     0
9  5  0  8  E2     0     1

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.