Tengo un conjunto de datos df
para un problema de clasificación multiclase en el que tengo clases desbalanceadas. Como se puede ver las clases de la columna grade
F
y G
.
>>> percentage = 1. / df['grade'].value_counts(normalize=True)
>>> print(percentage )
B 0.295436
C 0.295362
A 0.204064
D 0.136386
E 0.048788
F 0.014684
G 0.005279
Al mismo tiempo tengo predicciones muy inapropiadas para las clases menos representadas, como se puede veraquí.
Tengo una red neural con una dimensión de salida de 7. Quiero decir que el arreglo que quiero predecir es..:
>>> print(y_train.head())
grade_A grade_B grade_C grade_D grade_E grade_F grade_G
689526 0 1 0 0 0 0 0
523913 1 0 0 0 0 0 0
266122 0 0 1 0 0 0 0
362552 0 0 0 1 0 0 0
484987 1 0 0 0 0 0 0
...
Incluso si intentara el siguiente red de neuronal ... :
from keras.models import Sequential
from keras.layers import Dense, Dropout
from keras.constraints import maxnorm
def create_model(input_dim, output_dim):
print(output_dim)
# create model
model = Sequential()
# input layer
model.add(Dense(100, input_dim=input_dim, activation='relu', kernel_constraint=maxnorm(3)))
model.add(Dropout(0.2))
# hidden layer
model.add(Dense(60, activation='relu', kernel_constraint=maxnorm(3)))
model.add(Dropout(0.2))
# output layer
model.add(Dense(output_dim, activation='softmax'))
# Compile model
model.compile(loss='categorical_crossentropy', loss_weights=lossWeights, optimizer='adam', metrics=['accuracy'])
return model
from keras.callbacks import ModelCheckpoint
from keras.models import load_model
model = create_model(x_train.shape[1], y_train.shape[1])
epochs = 35
batch_sz = 64
print("Beginning model training with batch size {} and {} epochs".format(batch_sz, epochs))
checkpoint = ModelCheckpoint("lc_model.h5", monitor='val_acc', verbose=0, save_best_only=True, mode='auto', period=1)
# train the model
history = model.fit(x_train.as_matrix(),
y_train.as_matrix(),
validation_split=0.2,
epochs=epochs,
batch_size=batch_sz, # Can I tweak the batch here to get evenly distributed data ?
verbose=2,
callbacks=[checkpoint])
# revert to the best model encountered during training
model = load_model("lc_model.h5")
Aquí estoy intentando, alimentar con un vector de pesos inversamente proporcional a la frecuencia de clase:
lossWeights = df['grade'].value_counts(normalize=True)
lossWeights = lossWeights.sort_index().tolist()
Me dijo que la salida era de tamaño 1:
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-66-bf262c22c9dc> in <module>
2 from keras.models import load_model
3
----> 4 model = create_model(x_train.shape[1], y_train.shape[1])
5
6 epochs = 35
<ipython-input-65-9290b177bace> in create_model(input_dim, output_dim)
19
20 # Compile model
---> 21 model.compile(loss='categorical_crossentropy', loss_weights=lossWeights, optimizer='adam', metrics=['accuracy'])
22 return model
C:\ProgramData\Anaconda3\lib\site-packages\keras\engine\training.py in compile(self, optimizer, loss, metrics, loss_weights, sample_weight_mode, weighted_metrics, target_tensors, **kwargs)
178 'The model has ' + str(len(self.outputs)) +
179 ' outputs, but you passed loss_weights=' +
--> 180 str(loss_weights))
181 loss_weights_list = loss_weights
182 else:
ValueError: When passing a list as loss_weights, it should have one entry per model output. The model has 1 outputs, but you passed loss_weights=[4.9004224502112255, 3.3848266392035704, 3.385677583130476, 7.33212052000478, 20.49667767920116, 68.10064134188455, 189.42024013722127]
Actualización
Me equivoqué. Como lo dice Rubiales Alberto, tenía que poner las ponderaciones que se asignarán a las clases en class_weight
en model.fit()
:
Para obtenerlos Rubiales Alberto propone :
from sklearn.utils import class_weight
class_weights = class_weight.compute_class_weight('balanced',
np.unique(y_train),
y_train)
Sin embargo, obtengo :
---------------------------------------------------------------------------
ValueError Traceback (most recent call last)
<ipython-input-86-9d3f1efebd10> in <module>
3 class_weights = class_weight.compute_class_weight('balanced',
4 np.unique(y_train),
----> 5 y_train)
~\AppData\Roaming\Python\Python36\site-packages\sklearn\utils\class_weight.py in compute_class_weight(class_weight, classes, y)
39
40 if set(y) - set(classes):
---> 41 raise ValueError("classes should include all valid labels that can "
42 "be in y")
43 if class_weight is None or len(class_weight) == 0:
ValueError: classes should include all valid labels that can be in y
Así que intenté hacerlo a mano y pasé el parámetro class_weight
en model.fit()
que es una lista de la frecuencia invertida de las clases en el conjunto de datos:
>>> lossWeights = df['grade'].value_counts(normalize=True)
>>> lossWeights = lossWeights.sort_index().tolist()
>>> print(lossWeights)
[0.204064039408867, 0.2954361054766734, 0.29536185163720663, 0.13638619240799768, 0.04878839466821211, 0.014684149521877717, 0.0052792668791654595]
weights = {0: 1 / 0.204064,
1: 1 / 0.295436,
2: 1 / 0.295362,
3: 1 / 0.136386,
4: 1 / 0.048788,
5: 1 / 0.014684,
6: 1 / 0.005279}
history = model.fit(x_train.as_matrix(),
y_train.as_matrix(),
validation_split=0.2,
epochs=epochs,
batch_size=batch_sz, # Can I tweak the batch here to get evenly distributed data ?
verbose=2,
class_weight = weights,
callbacks=[checkpoint])
Disminuyó en la prueba Set Accuracy: 86.57% (antes era 88.54%) pero mejor balanceó los resultados en la matriz de confusión:
Así que eso no es lo que estoy esperando todavía. Ahora estoy pensando en añadir artificialmente datos de clases que no están suficientemente representadas. Ya sea clonándolos o borrando datos de las otras clases. De lo contrario, me interesan las características. Estaba pensando en hacer un PCA pero no sé cómo hacerlo en python.