0

Tengo una duda que quizás esté más enfocada a un DataEngineer. Tengo una base de Datos en Amazon RedShift con 300 millones de observaciones, quiero generar modelos de clasificación a traves de muestras, y dejar esos modelos ya entrenados para que cuando se actualicen los values de mis tablas, poder etiquetar a qué clase pertenecen las nuevas observaciones, así como las que ya existían y han cambiado o entrado en una nueva clase.

Ejemplo: Si una señora, además de ser nadadora se ha convertido en mama, o si una nueva observación cumple las reglas para clasificarse como golfista, etc.

¿Cuál es el workflow correcto para ingestar esta Data, aplicar el modelo y volver a cargar a redshift con su nueva etiqueta de clase?

2
  • Lamentablemente tu pregunta, que es interesante, da más para un libro que para una respuesta. Si quieres usar cualquier modelo de clasificación con una muestra (y no con el total de la población) lo primero es conseguir una muestra representativa y normalizada, es decir, asegurarse que los ejemplos que tomes del total tengan ciertos parámetros (varianza, media, etc) similares a los de la población total. Para esto están las pruebas de hipótesis nula (hay varios test que se pueden correr sobre la muestra). Commented el 5 jun. 2019 a las 16:18
  • Luego, todo dependerá del modelo de clasificación que vayas a usar (clustering, bayesianos, regresiones, redes neuronales, etc),en general, se trabaja con un 80% de la muestra para entrenar al modelo y un 20% para hacer la validación y testing del mismo. Cuando ya tienes un modelo que te sea efectivo, simplemente debes aplicarlo sobre las observaciones cada vez que cambian las variables de la misma para reclasificarla. Commented el 5 jun. 2019 a las 16:21

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.