2

Cuando leo el fichero x_train.csv tengo 54 atributos (features). Mi intención es reducir el número de éstos.

En la siguiente imagen ven 4 columnas que me gustaría reducir a 1, llamada 'Wilderness_Area', en la cual para cada id quiero que guarde los números 1, 2, 3 o 4 en función de cual se trate. introducir la descripción de la imagen aquí

Me estoy basando en esta página para hacerlo: https://www.kaggle.com/anirban7/data-preprocessing-for-beginners Concretamente en el siguiente fragmento de código:


# Changing Value for "Male, Female" string values to numeric values , male=1 and female=2
def getNumber(str):
    if str=="male":
        return 1
    else:
        return 2
titanic["Gender"]=titanic["Sex"].apply(getNumber)
# We have created a new column called "Gender" and 
# filling it with values 1,2 based on the values of sex column
titanic.head()

Análogamente, hago lo siguiente:

types2 = ['Wilderness_Area_1', 'Wilderness_Area_2', 'Wilderness_Area_3', 'Wilderness_Area_4']
def get_number1(num):
    if num == True:
        return 1
    else:
        return 0

def get_number2(num):
    if num == True:
        return 2
    else:
        return 0
def get_number3(num):
    if num == True:
        return 3
    else:
        return 0

def get_number4(num):
    if num == True:
        return 4

x_train[[types2[0]]] = x_train[types2[0]].astype(bool)
x_train[types2[1]] = x_train[types2[0]].astype(bool)
x_train[types2[2]] = x_train[types2[2]].astype(bool)
x_train[types2[3]] = x_train[types2[3]].astype(bool)

x_train['Wilderness_Area'] = x_train[types2[0]].apply(get_number1)
x_train['Wilderness_Area'] = x_train[types2[1]].apply(get_number2)
x_train['Wilderness_Area'] = x_train[types2[2]].apply(get_number3)
x_train['Wilderness_Area'] = x_train[types2[3]].apply(get_number4)

Creía que aparentemente estaba bien pero sin embargo sólo obtengo la nueva columna con el número 4. Según mi intuición estoy machacando valores, pero sinceramente no entiendo el cómo ni el por qué. ¿Alguna solución para mi problema?

FRAGMENTO DEL FICHERO CSV:

id,Elevation,Aspect,Slope,Horizontal_Distance_To_Hydrology,Vertical_Distance_To_Hydrology,Horizontal_Distance_To_Roadways,Hillshade_9am,Hillshade_Noon,Hillshade_3pm,Horizontal_Distance_To_Fire_Points,Wilderness_Area_1,Wilderness_Area_2,Wilderness_Area_3,Wilderness_Area_4,Soil_Type_1,Soil_Type_2,Soil_Type_3,Soil_Type_4,Soil_Type_5,Soil_Type_6,Soil_Type_7,Soil_Type_8,Soil_Type_9,Soil_Type_10,Soil_Type_11,Soil_Type_12,Soil_Type_13,Soil_Type_14,Soil_Type_15,Soil_Type_16,Soil_Type_17,Soil_Type_18,Soil_Type_19,Soil_Type_20,Soil_Type_21,Soil_Type_22,Soil_Type_23,Soil_Type_24,Soil_Type_25,Soil_Type_26,Soil_Type_27,Soil_Type_28,Soil_Type_29,Soil_Type_30,Soil_Type_31,Soil_Type_32,Soil_Type_33,Soil_Type_34,Soil_Type_35,Soil_Type_36,Soil_Type_37,Soil_Type_38,Soil_Type_39,Soil_Type_40
0,3342,15,13,350,55,2118,208,212,139,1486,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0
1,2764,39,13,175,43,2648,220,210,122,366,0,0,1,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
2,2773,158,5,162,14,2012,226,241,149,967,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
3,3083,108,16,30,-14,2639,246,220,98,1909,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0
4,3096,40,4,201,38,4592,220,231,147,2432,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0
5,2990,87,12,306,70,1819,238,219,109,1350,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0
6,3101,43,10,270,61,2901,222,217,129,5676,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0
7,2894,351,11,872,128,2324,201,222,159,895,0,0,1,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0
8,3106,158,24,540,29,942,238,236,114,2343,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0
9,2921,97,12,201,47,4380,240,222,110,3341,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0,0,0,0
10,3030,200,16,1100,149,3166,212,252,170,1416,0,0,1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,0,0,0,0,0,0,0
1
  • Tal vez te sirva leer acerca de Dimensionality Reduction y Principal Component Analysis (PCA)
    – favcau
    el 27 nov. 2020 a las 17:20

1 respuesta 1

3

Solución de una línea

x_train["Wilderness_Area"] = x_train.iloc[:,11:15].idxmax(1).str[-1].astype(int)

Resultado:

    id  Elevation  Aspect  ...  Soil_Type_39  Soil_Type_40  Wilderness_Area
0    0       3342      15  ...             0             0                3
1    1       2764      39  ...             0             0                3
2    2       2773     158  ...             0             0                1
3    3       3083     108  ...             0             0                3
4    4       3096      40  ...             0             0                1
5    5       2990      87  ...             0             0                3
6    6       3101      43  ...             0             0                1
7    7       2894     351  ...             0             0                3
8    8       3106     158  ...             0             0                1
9    9       2921      97  ...             0             0                1
10  10       3030     200  ...             0             0                3

[11 rows x 56 columns]

Explicación

Con la sintaxis .iloc[:,11:15] selecciono el trozo de dataframe que contiene la parte que nos interesa. iloc permite seleccionar por índices, y en este caso estoy eligiendo todas las filas (el primer :) de las columnas 11, 12, 13, y 14 que son las de interés.

Podría haber hecho lo mismo escribiendo x_train[["Wilderness_Area_1", "Wilderness_Area_2", "Wilderness_Area_3", "Wilderness_Area_4"]] pero con iloc queda mucho más corto (a cambio tienes la incomodidad de tener que contar las columnas para descubrir que las que interesan van de 11 a 14, y además sólo funciona si esas columnas aparecen en esa posición).

Una vez seleccionadas las columnas se les aplica .idxmax(1). El 1 es el axis en que se busca el máximo. Por defecto sería 0 que lo busca en vertical. Poniendo 1 lo busca en horizontal. De este modo se obtiene el nombre de la columna que contiene el máximo. Ya que en cada fila sólo hay un 1, este truco nos da el nombre de la columna que tiene ese 1.

El resultado es una serie con nombres de columnas. En particular en este caso sería la siguiente:

0     Wilderness_Area_3
1     Wilderness_Area_3
2     Wilderness_Area_1
3     Wilderness_Area_3
4     Wilderness_Area_1
5     Wilderness_Area_3
6     Wilderness_Area_1
7     Wilderness_Area_3
8     Wilderness_Area_1
9     Wilderness_Area_1
10    Wilderness_Area_3
dtype: object

Cada elemento en esta Serie es una cadena y mediante el operador .str[-1] puedo obtener la última letra de la misma, que es lo único que nos interesa. Finalemnte el .astype(int) me devuelve ese dato como entero. Este último paso puede sobrar, según lo que pretendas hacer con los números en esa columna. Siendo enteros puedes operar con ellos, pero si son meras "etiquetas" puedes dejarlas como cadena.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.