2

Tengo un conjunto de datos df para un problema de clasificación multiclase en el que tengo clases desbalanceadas. Como se puede ver las clases de la columna grade F y G.

>>> percentage = 1. / df['grade'].value_counts(normalize=True)
>>> print(percentage )

B    0.295436
C    0.295362
A    0.204064
D    0.136386
E    0.048788
F    0.014684
G    0.005279

Al mismo tiempo tengo predicciones muy inapropiadas para las clases menos representadas, como se puede veraquí.

Tengo una red neural con una dimensión de salida de 7. Quiero decir que el arreglo que quiero predecir es..:

>>> print(y_train.head())
        grade_A  grade_B  grade_C  grade_D  grade_E  grade_F  grade_G
689526        0        1        0        0        0        0        0
523913        1        0        0        0        0        0        0
266122        0        0        1        0        0        0        0
362552        0        0        0        1        0        0        0
484987        1        0        0        0        0        0        0
...

Incluso si intentara el siguiente red de neuronal ... :

from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.constraints import maxnorm

def create_model(input_dim, output_dim):
    print(output_dim)
    # create model
    model = Sequential()
    # input layer
    model.add(Dense(100, input_dim=input_dim, activation='relu', kernel_constraint=maxnorm(3)))
    model.add(Dropout(0.2))
    
    # hidden layer
    model.add(Dense(60, activation='relu', kernel_constraint=maxnorm(3)))
    model.add(Dropout(0.2))
    
    # output layer
    model.add(Dense(output_dim, activation='softmax'))
    
    # Compile model
    model.compile(loss='categorical_crossentropy', loss_weights=lossWeights, optimizer='adam', metrics=['accuracy'])
    return model

from keras.callbacks import ModelCheckpoint
from keras.models import load_model

model = create_model(x_train.shape[1], y_train.shape[1])

epochs =  35
batch_sz = 64

print("Beginning model training with batch size {} and {} epochs".format(batch_sz, epochs))

checkpoint = ModelCheckpoint("lc_model.h5", monitor='val_acc', verbose=0, save_best_only=True, mode='auto', period=1)
# train the model
history = model.fit(x_train.as_matrix(),
                y_train.as_matrix(),
                validation_split=0.2,
                epochs=epochs,  
                batch_size=batch_sz, # Can I tweak the batch here to get evenly distributed data ?
                verbose=2,
                callbacks=[checkpoint])

# revert to the best model encountered during training
model = load_model("lc_model.h5")

Aquí estoy intentando, alimentar con un vector de pesos inversamente proporcional a la frecuencia de clase:

lossWeights = df['grade'].value_counts(normalize=True)
lossWeights = lossWeights.sort_index().tolist()

Me dijo que la salida era de tamaño 1:

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-66-bf262c22c9dc> in <module>
      2 from keras.models import load_model
      3 
----> 4 model = create_model(x_train.shape[1], y_train.shape[1])
      5 
      6 epochs =  35

<ipython-input-65-9290b177bace> in create_model(input_dim, output_dim)
     19 
     20     # Compile model
---> 21     model.compile(loss='categorical_crossentropy', loss_weights=lossWeights, optimizer='adam', metrics=['accuracy'])
     22     return model

C:\ProgramData\Anaconda3\lib\site-packages\keras\engine\training.py in compile(self, optimizer, loss, metrics, loss_weights, sample_weight_mode, weighted_metrics, target_tensors, **kwargs)
    178                                  'The model has ' + str(len(self.outputs)) +
    179                                  ' outputs, but you passed loss_weights=' +
--> 180                                  str(loss_weights))
    181             loss_weights_list = loss_weights
    182         else:

ValueError: When passing a list as loss_weights, it should have one entry per model output. The model has 1 outputs, but you passed loss_weights=[4.9004224502112255, 3.3848266392035704, 3.385677583130476, 7.33212052000478, 20.49667767920116, 68.10064134188455, 189.42024013722127]

Actualización

Me equivoqué. Como lo dice Rubiales Alberto, tenía que poner las ponderaciones que se asignarán a las clases en class_weight en model.fit():

Para obtenerlos Rubiales Alberto propone :

from sklearn.utils import class_weight

class_weights = class_weight.compute_class_weight('balanced',
                                                 np.unique(y_train),
                                                 y_train)

Sin embargo, obtengo :

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-86-9d3f1efebd10> in <module>
      3 class_weights = class_weight.compute_class_weight('balanced',
      4                                                  np.unique(y_train),
----> 5                                                  y_train)

~\AppData\Roaming\Python\Python36\site-packages\sklearn\utils\class_weight.py in compute_class_weight(class_weight, classes, y)
     39 
     40     if set(y) - set(classes):
---> 41         raise ValueError("classes should include all valid labels that can "
     42                          "be in y")
     43     if class_weight is None or len(class_weight) == 0:

ValueError: classes should include all valid labels that can be in y

Así que intenté hacerlo a mano y pasé el parámetro class_weight en model.fit() que es una lista de la frecuencia invertida de las clases en el conjunto de datos:

>>> lossWeights = df['grade'].value_counts(normalize=True)
>>> lossWeights = lossWeights.sort_index().tolist()
>>> print(lossWeights)
[0.204064039408867, 0.2954361054766734, 0.29536185163720663, 0.13638619240799768, 0.04878839466821211, 0.014684149521877717, 0.0052792668791654595]
weights = {0: 1 / 0.204064,
       1: 1 / 0.295436, 
       2: 1 / 0.295362,
       3: 1 / 0.136386, 
       4: 1 / 0.048788,
       5: 1 / 0.014684,
       6: 1 / 0.005279}

history = model.fit(x_train.as_matrix(),
                y_train.as_matrix(),
                validation_split=0.2,
                epochs=epochs,  
                batch_size=batch_sz, # Can I tweak the batch here to get evenly distributed data ?
                verbose=2,
                class_weight = weights,
                callbacks=[checkpoint])

Disminuyó en la prueba Set Accuracy: 86.57% (antes era 88.54%) pero mejor balanceó los resultados en la matriz de confusión:

enter image description here

Así que eso no es lo que estoy esperando todavía. Ahora estoy pensando en añadir artificialmente datos de clases que no están suficientemente representadas. Ya sea clonándolos o borrando datos de las otras clases. De lo contrario, me interesan las características. Estaba pensando en hacer un PCA pero no sé cómo hacerlo en python.

1 respuesta 1

2

Para pasarle una matriz de pesos, tienes que hacerlo a la entrada. Al ejecutar el fit con el hiperparametro class_weight le asignas los pesos en forma de diccionario. Podrías usar también la función class_weight de Sklearn (sí tiene el mismo nombre) del subpaquete "utils" y es más sencillo. Sería Así:

  1. Balanceamos las clases
from sklearn.utils import class_weight

class_weights = class_weight.compute_class_weight('balanced',
                                                 np.unique(y_train),
                                                 y_train)

class_weights = dict(enumerate(class_weights))
  1. Pasamos nuestras clases balanceadas al modelo


model.fit(x_train.as_matrix(),
          y_train.as_matrix(),
          validation_split=0.2,
          epochs=epochs,  
          batch_size=batch_sz,
          class_weight= class_weights,
          verbose=2,
          callbacks=[checkpoint])

Actualización a la segunda pregunta

Para mejorar el accuracy, probaría a poner más o menos capas con distintos hiperparámetros...

En cuanto a el análisis de componentes principales, tal vez funcione, necesitaría saber más sobre el dataset ¿Cuántas variables tienes? ¿De donde vienen los datos, una imagen, un sonido, datos numéricos normales?

De todas formas lo puedes hacer con sklearn, así:

from sklearn.decomposition import PCA

pca = PCA(n_components=1) #número de variables a las que queremos reducir
top_principal_component = pca.fit_transform(nuestras_variables)
2
  • Si, tienes razon, fue en el fit. Sin embargo intenté balancar tus clases con tu metodo y obtengo el error que puesto en la actualizacion de mi pregunta Commented el 17 sept. 2019 a las 19:46
  • Perdona te puse la solución de memoria, y se me olvido enumerar las clases para pasárselas al fit con el número de clase y su peso, lo he actualizado y debería de funcionarte ahora. En cuanto a PCA y el accuracy, te he dejado una actualización con algunas preguntas sobre tu dataset Commented el 18 sept. 2019 a las 8:42

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.