1

Tengo unas dudas teóricas. Acabo de realizar un entrenamiento y previsión de un parámetro. Básicamente así

#Datos de Entrenamiento

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=42)
print(X_train.shape)
print(X_test.shape)

#Configuración de la Red Neuronal

model = MLPRegressor(hidden_layer_sizes=(30,30),tol=0.0000001,solver='lbfgs',activation='relu',
                         random_state=42,learning_rate = 'adaptive',max_iter=10000,alpha=1e-0)
 
#Predicción
                      
rna = model.fit(X_train, np.ravel(y_train,order='C'))

#Verificar la precisión (accuracy)

predictions = rna.predict(X_test) #Aqui estan las predicciones predictions
print("Erro quadrático Médio = ",mean_squared_error(y_test, predictions)) 
print("R2 =", r2_score(y_test, predictions))

Como verán estoy tomando 75% de mis datos para entrenamiento y 25% para predicción.

Soy iniciante en el asunto, leí por ahí que se necesita hacer una validación de los resultados y estoy confundido, si validarlo con otra base de datos o puedo usar la misma de entrenamiento. Como quedaría el código? alguien con experiencia en el asunto, podría ayudarme por favor

Estoy usando la librería Sklearn.

Complemento: Una literatura menciona que, como inicio, se puede utilizar 70%de entrenamiento, 25 % de test y 5% de validación. Mi duda es sobre esta ultima, como se realiza esa validación (técnicas, modelos)

7
  • las variables X_train y y_train son las que se usan para el entrenamiento de la red neuronal, por otra parte con X_test y y_test estas probando al modelo entrenado, estas variables se usan para ver como se comporta el modelo dado que estos datos no los ha visto en el entrenamiento. Esto se usa para ver la eficacia del modelo entrenado
    – Christian
    Commented el 31 ago. 2021 a las 17:14
  • Genial, mi duda es con relación a otro conjunto de datos para validad la red. Por ejemplo paso a citar una literatura : "Aunque mediante los métodos de validación (Kfold, LeaveOneOut) se consiguen buenas estimaciones del error que tiene un modelo al predecir nuevas observaciones, la mejor forma de evaluar un modelo final es prediciendo un conjunto test, es decir, un conjunto de observaciones que se ha mantenido al margen del proceso de entrenamiento y optimización" Con relación a ese apartado, se refiere a otro conjunto de dados, además del X_train, y_train, X_test e y_test?
    – el6k001
    Commented el 31 ago. 2021 a las 17:25
  • Es un error (y pecado) hacer la validación o testeo del modelo con datos del entrenamiento, sería como copiarse en un examen. El fin de separar los datos en prueba y entrenamiento es de hacer que la red neuronal aprenda algo en concreto y que luego se evalúe su aprendizaje. Solo debes hacer el testeo o validación con los datos X_test y y_test
    – Christian
    Commented el 31 ago. 2021 a las 17:29
  • Haha la analogía es buena, entonces las técnicas de validación (no predicción) se aplican con los datos de X_test e y_test también. Era justamente esa mi duda, pensé que debía incluir otros datos que la red nunca había visto en el entrenamiento y tampoco utilizado para las predicciones. Muchas gracias
    – el6k001
    Commented el 31 ago. 2021 a las 17:34
  • X_test y y_test son datos que la red nunca ha visto en el entrenamiento, los otros (X_train y y_train) si los ha visto. Los datos de validación sirve para identificar la eficiencia y certeza del modelo :D
    – Christian
    Commented el 31 ago. 2021 a las 17:37

2 respuestas 2

2

Tu problema es entender para que sirven las fases de entrenamiento, Validación y test. Primero te pongo un extracto de Brian Ripley un reconocido estadista de la universidad de Oxford que a aportado grandes avances al mundo de la ciencia de datos:

– Training set: A set of examples used for learning, that is to fit the parameters of the classifier.

– Validation set: A set of examples used to tune the parameters of a classifier, for example to choose the number of hidden units in a neural network.

– Test set: A set of examples used only to assess the performance of a fully-specified classifier.

Brian Ripley, página 354, Pattern Recognition and Neural Networks, 1996

Ahora paso a explicarlo en Español y con mis propias palabras:

Entrenamiento (Train)

El conjunto de datos de entrenamiento es aquel que se utiliza para calcular los coeficientes de algún algoritmo. Los coeficientes son las Betas (β), el caso más simple de ver es una regresión lineal.

introducir la descripción de la imagen aquí

Aquí el algoritmo calculará los pesos de cada β, para aplicarlo a cada variable "X_n"

Este conjunto de datos, es el que se le muestra al algoritmo y utiliza para aprender

Validación (Validation)

Este conjunto se utiliza para calcular los mejores hiperparámetros de tu modelo. Una vez tu modelo ha sido entrenado con unos hiperpámetros, se utiliza el conjunto de validación, que "son datos que el modelo nunca ha visto antes" y con este conjunto se prueban distintos hiperparámetros para ver cuales funcionan mejor.

Por ejemplo, en tu algoritmo MLPRegressor tu pones un número de capas ocultas (30, 30), pero puede que (50, 50) funcione mejor con tu conjunto de datos, o (60, 60). O puede que la activación leakyrelu funcione mejor que relu.

Test

Una vez se ha realizado el entrenamiento del algoritmos,y se ha comprobado que hiperparámetros funcionan mejor, en un conjunto de datos "no antes visto", se utiliza el conjunto de test

Estos datos, son datos que nunca ha podido ver el modelo, y se utilizan para ver como funcionaría el modelo entrenado, con los hiperparámetros seleccionados en el mundo real.

Conclusiones y bonus

  • Como se ajustán los hiperapámetros del modelo usando el conjunto de validación, lo normal es que el error siempre sea mayor en el conjunto de test que en el conjunto de validación

  • Nunca deben saltarse estos tres pasos Train -> Validation -> test. Un algoritmo que funciona bien en validación, puede hacerlo de forma pésima en test.

  • Hay métodos que muestran el conjunto de validación al modelo a la hora de entrenar, y se han demostrado muy eficaces, como Crossvalidation, Stratified K-fold, etc. (Por eso puse entre comillas "son datos que el modelo nunca ha visto antes")

  • Los ratios a usar al dividir tu conjunto de datos suelen ser entre 50% - 60% para entrenamiento, y 20% - 25% para validación y test. Aunque esto dependerá de la cantidad de datos que tengas

  • Nunca bajo ningún concepto, se utilizan los datos de test para entrenar el modelo, ya que como indica @Christian en los comentarios sería como copiar en un examen. El objetivo del conjunto de test es ver como funcionaría el modelo en un entorno de producción real, en el que no se saben los datos que van a venir

  • La validación y el test con Sklearn se realizan igual, una vez el modelo ha sido entrenado, se utiliza modelo.predict(X_val) para que prediga resultados, y luego le aplicamos alguna métrica, como por ejemplo accuracy para comprobar como de buenas son las predicciónes.

1

Debes aclarar los conceptos: datos de entrenamiento, validación y test.

En resumen:

Datos de entrenamiento

Son los usados para inferir los parámetros del modelo, sobre este subconjunto se aplica el gradiente descendiente y como resultado la modificación de los pesos en la red son calculados en este subconjunto de datos.

Datos de validación

Su finalidad es principalmente estadística, similar al concepto "grupo de control". La idea es comprobar que el error entre la predicción en los datos entrenados y la predicción en datos que nunca ha visto la red (independencia entre los subconjuntos) no sea muy distinta. -> esta se usa cada vez que entrenas para comparar el error de validación con el de entrenamiento, si aún falta mejorar algo cambias un hiperparámetro.

Datos de test

Su finalidad es la misma que los "datos de validación", solo que al hacer varias pruebas (ensayo y error) sobre los datos de validación, resulta que indirectamente están siendo usados para entrenar 'hiperparámetros'. Así que los datos de validación van perdiendo la independencia con el entrenamiento y surge la necesidad de tener otro subconjunto de datos independiente y usualmente es este llamado 'test'. -> Este debe evitar usarse mientras se está entrenando, solo usar al final cuando ya crees que está lista la red neuronal.

Los porcentajes asignados son más una recomendación que una camisa de fuerza, inicialmente se consideraba 70-30, luego 70-20-10. Actualmente depende del tamaño de los datos, si son demasiados datos sucede que usar el 99-1 es suficiente ya que el 1% alcanza a representar las características necesarias de todo el conjunto.

Como se valida predicciones de una red neuronal?

Debes asegurarte de tener un conjunto de datos independiente de los que son usados para cambiar parámetros en la red neuronal. De esta forma, si el resultado/predicción de la red es el mismo en dos subconjunto de datos que nunca se han visto, puedes tener cierta seguridad de que ha aprendido y no memorizado el subconjunto de entrenamiento.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.