Tu problema es entender para que sirven las fases de entrenamiento, Validación y test. Primero te pongo un extracto de Brian Ripley un reconocido estadista de la universidad de Oxford que a aportado grandes avances al mundo de la ciencia de datos:
– Training set: A set of examples used for learning, that is to fit the parameters of the classifier.
– Validation set: A set of examples used to tune the parameters of a classifier, for example to choose the number of hidden units in a neural network.
– Test set: A set of examples used only to assess the performance of a fully-specified classifier.
Brian Ripley, página 354, Pattern Recognition and Neural Networks, 1996
Ahora paso a explicarlo en Español y con mis propias palabras:
Entrenamiento (Train)
El conjunto de datos de entrenamiento es aquel que se utiliza para calcular los coeficientes de algún algoritmo. Los coeficientes son las Betas (β), el caso más simple de ver es una regresión lineal.
Aquí el algoritmo calculará los pesos de cada β, para aplicarlo a cada variable "X_n"
Este conjunto de datos, es el que se le muestra al algoritmo y utiliza para aprender
Validación (Validation)
Este conjunto se utiliza para calcular los mejores hiperparámetros de tu modelo. Una vez tu modelo ha sido entrenado con unos hiperpámetros, se utiliza el conjunto de validación, que "son datos que el modelo nunca ha visto antes" y con este conjunto se prueban distintos hiperparámetros para ver cuales funcionan mejor.
Por ejemplo, en tu algoritmo MLPRegressor
tu pones un número de capas ocultas (30, 30)
, pero puede que (50, 50)
funcione mejor con tu conjunto de datos, o (60, 60)
. O puede que la activación leakyrelu
funcione mejor que relu
.
Test
Una vez se ha realizado el entrenamiento del algoritmos,y se ha comprobado que hiperparámetros funcionan mejor, en un conjunto de datos "no antes visto", se utiliza el conjunto de test
Estos datos, son datos que nunca ha podido ver el modelo, y se utilizan para ver como funcionaría el modelo entrenado, con los hiperparámetros seleccionados en el mundo real.
Conclusiones y bonus
Como se ajustán los hiperapámetros del modelo usando el conjunto de validación, lo normal es que el error siempre sea mayor en el conjunto de test que en el conjunto de validación
Nunca deben saltarse estos tres pasos Train -> Validation -> test. Un algoritmo que funciona bien en validación, puede hacerlo de forma pésima en test.
Hay métodos que muestran el conjunto de validación al modelo a la hora de entrenar, y se han demostrado muy eficaces, como Crossvalidation, Stratified K-fold, etc. (Por eso puse entre comillas "son datos que el modelo nunca ha visto antes")
Los ratios a usar al dividir tu conjunto de datos suelen ser entre 50% - 60% para entrenamiento, y 20% - 25% para validación y test. Aunque esto dependerá de la cantidad de datos que tengas
Nunca bajo ningún concepto, se utilizan los datos de test para entrenar el modelo, ya que como indica @Christian en los comentarios sería como copiar en un examen. El objetivo del conjunto de test es ver como funcionaría el modelo en un entorno de producción real, en el que no se saben los datos que van a venir
La validación y el test con Sklearn
se realizan igual, una vez el modelo ha sido entrenado, se utiliza modelo.predict(X_val)
para que prediga resultados, y luego le aplicamos alguna métrica, como por ejemplo accuracy
para comprobar como de buenas son las predicciónes.
X_train
yy_train
son las que se usan para el entrenamiento de la red neuronal, por otra parte conX_test
yy_test
estas probando al modelo entrenado, estas variables se usan para ver como se comporta el modelo dado que estos datos no los ha visto en el entrenamiento. Esto se usa para ver la eficacia del modelo entrenadotest
, es decir, un conjunto de observaciones que se ha mantenido al margen del proceso de entrenamiento y optimización" Con relación a ese apartado, se refiere a otro conjunto de dados, además delX_train
,y_train
,X_test
ey_test
?X_test
yy_test
X_test
ey_test
también. Era justamente esa mi duda, pensé que debía incluir otros datos que la red nunca había visto en el entrenamiento y tampoco utilizado para las predicciones. Muchas graciasX_test
yy_test
son datos que la red nunca ha visto en el entrenamiento, los otros (X_train
yy_train
) si los ha visto. Los datos de validación sirve para identificar la eficiencia y certeza del modelo :D