8

estoy comenzando a meterme en el mundo de las redes neuronales en la carrera. Estamos intentando buscar un buen ajuste para el siguiente dataset: https://www.kaggle.com/tanlikesmath/diabetic-retinopathy-resized (El clásico Diabetic Retinopathy)

Me encuentro atascadísimo en este momento ya que, haga lo que haga, nunca consigo un CCR superior a 0.75. He probado varios tipos de Data Augmentation y a modificar la red VGG16 (que es con la que nos han mandado hacer esta práctica). A veces durante las iteraciones, observo como sube pero al final, cuando la época ha acabado termina otra vez entre 0.72 y 0.75.

Soy bastante nuevo en esto y es evidente que estaré haciendo cosas mal pero no sé el que aún.

   train_datagen = ImageDataGenerator(
        rescale=1./255,
        #featurewise_std_normalization=True,
        #samplewise_std_normalization=False,
        featurewise_center=True,
        samplewise_center=True,
        validation_split=0.30)

train_generator = train_datagen.flow_from_dataframe(
        dataframe=trainLabels,
        directory='resized_train_cropped/resized_train_cropped/',
        x_col="image",
        y_col="level",
        target_size=(224, 224),
        batch_size=10,
        class_mode='categorical',
        color_mode='rgb', #quitar o no quitar
        subset='training')

validation_generator = train_datagen.flow_from_dataframe(
        dataframe=trainLabels,
        directory='resized_train_cropped/resized_train_cropped/',
        x_col="image",
        y_col="level",
        target_size=(224, 224),
        batch_size=10,
        class_mode='categorical',
        subset='validation')

model=Sequential()
model.add(vgg16.VGG16(include_top=False, weights='imagenet', input_tensor=None, input_shape=(224,224,3), pooling=None, classes=5))
model.add(Flatten())
model.add(Dense(4096, activation='relu', name='fc1'))
model.add(Dropout(0.5))
model.add(Dense(4096, activation='relu', name='fc2'))
model.add(Dropout(0.5))
model.add(Dense(5, activation='softmax', name='predictions'))

model.compile(loss='categorical_crossentropy',
            optimizer='adam',
            metrics=['acc', 'mse'])

log_dir="logs\\fit\\" +'Prueba'+ datetime.datetime.now().strftime("%Y%m%d-%H%M%S")
tensorboard_callback = TensorBoard(log_dir=log_dir, histogram_freq=1)

parada=callbacks.callbacks.EarlyStopping(monitor='val_loss',mode='min',verbose=1,restore_best_weights=True)
learningRate=callbacks.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.1, verbose=1, mode='min', min_delta=0.0001, cooldown=0, min_lr=0)

model.fit_generator(
    train_generator,
    steps_per_epoch=500,
    epochs=10,
    validation_data=validation_generator,
    validation_steps=100,
    validation_freq=1,
    callbacks=[tensorboard_callback,parada,learningRate])

Aquí os dejo el código con lo que llevo hasta ahora. Una de mis principales dudas es como utilizar los atributos featurewise_std_normalization, samplewise_std_normalization, featurewise_center y samplewise_center. Los cuales me dan un warning sobre que debo hacer un "fit" primero a las imágenes, pero no sé como se haría. Creo que esta puede ser una de las claves para mejorar.

Si alguien me puede dar algun consejo estaría muy agradecido.

1 respuesta 1

7

Utilizas muchos métodos, está muy bien, te doy algunas explicaciones:

Generador de imágenes

Efectivamente tienes que hacer un fit a tu generador, un generador es un modelo que aprende a generar imágenes nuevas con las modificaciones que tu introduzcas. Para entrenarlo puedes usar: train_datagen.fit(x_train) o utilizar en tú modelo fit_generator() como tú estás haciendo.

El warning te aparece porque los hiperparámetros que indica el warning featurewise_std_normalization, samplewise_std_normalization, featurewise_center, samplewise_center no se pueden entrenar con fit_generator() es necesario usar train_datagen.fit(x_train) previamente (con el resto de parámetros no es necesario, por eso no te da el warning). Básicamente ese warning lo que te está indicando es que, te está entrenando el generador, pero sin esos parámetros.

Todo esto lo he deducido de la propia documentación de Keras y tras hacer pruebas. Y digo lo he deducido, porque la documentación aquí es bastante difusa y no lo dice específicamente.

Te dejo aquí exactamente el apartado que trata sobre ello, así también podrás ver más ejemplos que te ayuden.

¿Cómo solucionar este warning?

Te propongo tres opciones (puede haber más):

  1. Entrenar el generados con train_datagen.fit(x_train). La desventaja de esto es que si tu base de datos de imágenes es algo grande, no tendrá capacidad de hacerlo y no te funcionará

  2. Quitar estos parámetros y usar otros.

  3. Ver la capacidad de RAM de tu gráfica, y calcular la cantidad de imágenes que puedes cargar. Si es una cantidad decente, puedes coger una muestra representativa del dataset de imágenes que tienes y entrenar el generador solo con esa muestra mediante train_datagen.fit(x_train)

Funcionamiento de una Red Neuronal.

Por lo que dices, lo que te sucede es que estás sobre entrenando tu red neuronal (overfitting). Para reducir el overfitting puedes usar varios métodos como los que usas tú, al final las redes neuronales carecen de explicabilidad y muchas veces es probar varias hipótesis y combinaciones para ver si funcionan o no:

  • Generador de imágenes: prueba más opciones como las que pongo aquí, que rotan e introducen ruido en la imagen
train_datagen(rotation_range=15, width_shift_range=0.1, height_shift_range=0.1, horizontal_flip=True)
train_datagen.fit()
  • Entrenamiento Si tú accuracy sube más del 75% pero al final acaba ahí, simplemente pon menos epocas de entrenamiento (epoch), ponle menos, te doy una explicación de porque sucede esto que comentas ya que es un error muy frecuente que no entienden muchas personas en Deep Learning.

Hay que diferenciar entre loss (función de perdidas) y accuracy. Son dos funciones totalmente diferentes en una red neuronal y realmente no guardan ninguna relación directa.

Loss: Un función de perdidas lo que trata es de optimizar el error para que sea el mínimo posible. (puede ser el máximo, si es un problema de maximización de beneficios por ejemplo). La red intenta mediante sus pesos tener el menor error posible.

Accuracy: Es una función que simplemente mide el porcentaje de aciertos sobre el total, una métrica fuera de la red neuronal que se utiliza para ver su desempeño.

Teniendo lo anterior en cuenta y ahorrándome el funcionamiento matemático para hacerlo rápido y entendible:

La función de perdidas trata de acertar cada imagen lo mejor posible, mientras que al accuracy le da igual como de bien aciertes una imagen, simplemente has acertado o no. Te pongo un ejemplo:

Tu CNN le da una probabilidad del 51% a una imagen, de que ese paciente tenga diabetes y efectivamente, ha acertado y lo tiene.Para la medida del accuracy tu acierto es del 100%, puesto que has acertado. Sin embargo la función de optimización este output no es bueno, porque significa que una clasificación binaria ha acertado una clase por un 51% por lo que podría hacerlo mucho mejor, y simplemente va a intentar aumentar la probabilidad la próxima vez, para que en vez de un 51%, sea un 60%, 70%, 80%, 99%. Pero tu accuracy seguirá siendo el mismo 100%.

Por ello, no por tener mayor número de epochs, va a ser mejor, porque la red neuronal intentará optimizar para tener el menor error posible, pero esto le puede llevar a sobre entrenar (overfitting), y bajar el accuracy, ya que está acertando muchas imágenes con una probabilidad del 100% pero realmente lo que está haciendo es aprenderse esas imagenes de memoria, y no es capaz de generalizar, por lo que clasifica mal otras. Ademas este tipo de modelos después cuando les pasas el conjunto de test, lo suelen hacer muy mal.

Por último decirte que esto es una explicación de lo que sucede y me he ahorrado las matemáticas para que sea entendible, en resumen, es una explicación de andar por casa.

8
  • Muchas gracias por tu respuesta, me has aclarado bastantes cosas :D Me quedaría una última duda: Cuando hago train_datagen.fit() hay que pasarle un argumento que supongo que será un conjunto de imágenes, esta parte no sé como hacerla. Probé a pasarle todo el train_generator poniendo train_datagen.fit(train_generator) pero después de mucho tardar finalmente dió error (supongo que porque todo a la vez no cabe en memoria).
    – xXNukem KS
    Commented el 4 dic. 2019 a las 19:30
  • Perdona, te he inducido a un error, porque no me había dado cuenta, que al final usabas fit_generator() sobre el modelo. En teoría, lo que tienes está bien para el generador de imágenes. Si me copias exactamente el warning que te da, tal vez te pueda ayudar! He corregido esa parte de mi respuesta. Commented el 5 dic. 2019 a las 8:54
  • 1
    El warning que me da es el siguiente: his ImageDataGenerator specifies featurewise_center, but it hasn't been fit on any training data. Fit it first by calling .fit(numpy_data). warnings.warn('This ImageDataGenerator specifies '. y este otro: UserWarning: This ImageDataGenerator specifies featurewise_std_normalization, but it hasn't been fit on any training data. Fit it first by calling .fit(numpy_data). warnings.warn('This ImageDataGenerator specifies '
    – xXNukem KS
    Commented el 5 dic. 2019 a las 15:24
  • Te he completado la respuesta arriba, me ha costado entenderlo por que la documentación de Keras es muy difusa. Pero eso es lo que te sucede! :) Espero haberte sido de ayuda! Commented el 5 dic. 2019 a las 16:12
  • Muchísimas gracias por tu respuesta, me estas aclarando bastantes cosas. El problema que tengo ahora con esto es, ¿como le paso x_train a train_datagen.fit()?. Es decir, como le paso muestras de imágenes a dicha función (los batch), por que por más que busco no consigo encontrar la solución.
    – xXNukem KS
    Commented el 5 dic. 2019 a las 16:24

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.