2

Cuando se busca el mejor modelo de machine learning, ¿se debe hacer cross-validation sólo para seleccionar el mejor modelo y luego a ese mejor modelo aplicar GridSearchCV? ó ¿se debe aplicar GridSearchCV a todos los modelos para encontrar el mejor?.

1
  • Voto por cerrar esta pregunta porque no es una pregunta de programación sino de Machine Learning
    – user22539
    el 9 abr. 2021 a las 0:07

1 respuesta 1

1

Respuesta Corta:

Cross Validation es una técnica usada para validar los datos.

GridSearchCV es un método de python que usa la técnica de Cross Validation para darte los mejores hiperparametros de un algoritmo de Machine Learning como puede ser un Random Forest, una Regresion Logistica, un K-Vecinos, etc.

Respuesta Larga

Cross Validation (CV) o K-Fold Cross Validation (K-Fold CV) es muy similar a lo que ya conoce como división de prueba de entrenamiento. Cuando las personas se refieren a la validación cruzada, generalmente se refieren a la validación cruzada de k veces. En la validación cruzada de k-fold, lo que haces es solo que tienes varios (k) conjuntos de pruebas de entrenamiento en lugar de 1. Esto básicamente significa que en un CV de k-fold estarás entrenando tu modelo k-veces y también probándolo k -veces. El propósito de hacer esto es que en una sola división de prueba de entrenamiento, la parte de prueba de sus datos elegidos puedan tener poder predictivo y asegurar que tu modelo funcionará extremadamente bien en el, pero no exactamente así para sus conjuntos de prueba reales que, por lo cual última instancia, no será un buen modelo. Por lo tanto, debes utilizar un método de CV de k veces. Por ejemplo, en una validación cruzada de 4 veces, dividirá sus datos de entrenamiento en 4 partes iguales. En el primer paso, mantienes una parte de las 4 como el conjunto en el que probarás y entrenarás con las 3. Esta parte que dejaste se llama el conjunto de validación y las 3 restantes se convierten en tu conjunto de entrenamiento. Sigue repitiendo esto 4 veces, pero usará una parte diferente de las 4 cada vez para probar su modelo. La validación cruzada de K-fold también puede ayudarte a combatir el sobreajuste u "overfitting". Hay diferentes formas de hacer la validación cruzada de k-fold como estratificado-k-fold cv, k-fold cv basado en el tiempo, k-fold cv agrupado, etc., que dependerán de la naturaleza de tus datos y el propósito de tus predicciones. Puedes buscar más en Google sobre estos métodos. Un método que la gente usa generalmente es que, para cada uno de los k-pliegues, también hacen predicciones para el conjunto de prueba real y luego toman la media de todas las k predicciones para generar las predicciones finales.

introducir la descripción de la imagen aquí

GridSearchCV es un método utilizado para ajustar los hiperparámetros de su modelo (por ejemplo, max_depth y max_features en RandomForest). En este método, especificas una cuadrícula de posibles valores de parámetros (por ejemplo, max_depth = [5,6,7] y max_features = [10,11,12] etc.). GridSearch ahora buscará el mejor conjunto de combinación de este conjunto de características que usted especificó usando el enfoque k-fold cv que te mencioné anteriormente, es decir, entrenará el modelo usando diferentes combinaciones de las características mencionadas y le dará la mejor combinación basada en el mejor puntaje de CV obtenido de k veces .Por ejemplo:

Prueba1: profundidad_máx = 5 y características_máx = 10 y el puntaje de precisión de CV de K veces obtenido es 80%

Prueba2: profundidad_máx = 5 y características_máx = 11 y Exactitud de CV de K veces La puntuación obtenida es del 85%

y así sucesivamente ...

GridSearch es un método muy lento para ajustar sus hiperparámetros y es mucho mejor usar RandomSearchCV o los métodos de optimización de hiperparámetros bayesianos más avanzados (existen librerias como skopt e hyperopt en python para esto). También puedes buscar en Google más sobre estos métodos.

2
  • ¿SI usamos GridsearchCV necesitamos luego también usar cross_validate()? ¿O no hace falta porque el primero ya lo hace?
    – skan
    el 31 jul. a las 0:48
  • Hay que tener en cuenta que el cross-validation utilizado en GridSearchCV se utiliza para evaluar el score del model, pero el bucle que va recorriendo los parámetros es externo a eso, es decir, estamos eligiendo el mejor valor del parámetro utilizando datos de validación, lo cuál no es muy correcto (es demasiado optimista con los scores calculados). Para evitar ese problema se utiliza el método llamado nested cross-validation.
    – skan
    el 1 ago. a las 20:26

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.