0

Estoy trabajando en un problema de clasificación para una variable binaria y me he decantado por usar el entorno tidymodels.

Ya he pasado la fase de crear los workflow. Hice pruebas como con 20 modelos y he seleccionado mi modelo definitivo y ajustado con last_fit. Es un model random_forest con el engine ranger. Como tenía muchos modelos ocupando espacio en memoria lo guardé en un objeto rds, llamado M1. Dejo un ejemplo con los datos iris:


# ejemplo con el data frame iris
iris
set.seed(246)

iris_split    <- initial_split(iris, prop = 0.7, strata = Species )
iris_training <- training(iris_split)
iris_test     <- testing(iris_split)


Receta_1 <- 
  recipe(Species ~ ., data= iris_training, strata = Species )  %>% 
  step_dummy(all_nominal(), -all_outcomes(), one_hot = T) %>% 
  step_other(threshold = 0.7 )

Modelo_RandomForest <- 
  rand_forest(mtry = tune(), trees = tune(), min_n = tune()) %>% 
  set_engine("ranger", importance = "impurity") %>% 
  set_mode("classification")

wf_set <- workflow_set(
  preproc = list(M1 = Receta_1), 
  models = list(RandomForest = Modelo_RandomForest), 
  cross = T)


train_resamples <-  vfold_cv(iris_training, v = 5, strata = Species)

class_metric <- metric_set(accuracy, j_index, precision, sensitivity, specificity, roc_auc, f_meas,recall, mcc )

wf_sample_exp <- wf_set %>% 
  workflow_map(
    resamples = train_resamples, 
    fn = "tune_grid",
    grid = 10,
    verbose = TRUE, 
    metrics = class_metric, 
    seed = 246)

wf_sample_exp

M1_best_result <- wf_sample_exp %>% 
  extract_workflow_set_result('M1_RandomForest') %>% 
  select_best(metric = 'specificity')

M1 <- wf_sample_exp %>% 
  extract_workflow('M1_RandomForest') %>% 
  finalize_workflow(M1_best_result) %>%
  last_fit(iris_split, metrics = class_metric )

M1

El resultado luce como un objeto last_fit:

introducir la descripción de la imagen aquí

En base a eso, me guardé también el split inicial y el training y el testing de los datos.

Ahora lo que estoy buscando es sacar los valores SHAP para hacer el modelo entendible. Me interesan los valores individuales y de las variabes.

Cosas que he probado leyendo en foros / artículos de Rpubs:

# Solucion 1 ////////////////////////////////////////////

X <- bake(extract_recipe(M1),training(M1$splits[[1]])) %>%  as.matrix()
M1_mod <- extract_workflow(M1) %>%  pull_workflow_fit()
shap <- explain( M1_mod$fit, X = X,  pred_wrapper = 'custom_residual')

# Solucion 2 ////////////////////////////////////////////
Model_explainer <- 
  explain_tidymodels(
    M1_mod, 
    data = M1_vip_train, 
    y = PNS_train$PNS_reincidencia,
    label = "M1 Random forest",
    verbose = FALSE)

model_parts(
  explainer = Model_explainer, 
  type = "raw")

# Solucion 3 ////////////////////////////////////////////

M1_vi_data <- M3 %>% 
  extract_fit_parsnip() %>% vi()

La solución 3 me traen una gráfica introducir la descripción de la imagen aquí

Ell problema es que no sé cómo interpretar esto, ya que debería modificar una probabilidad de predicción. Debería moverse en el rango [0,1]. Para mi, esta gràfica da un acercamiento intuitivo pero no bueno.

También he probado con los entornos fastshap shapviz SHAPforxgboost pero en todos ha sido un fracaso notable. No sé si es por usar la sintaxis inadecuadamente.

1
  • He modificado la publiación apra que se vea lo que he hecho con los datos iris el 23 feb. a las 15:04

1 respuesta 1

0

Ell problema es que no sé cómo interpretar esto, ya que debería modificar una probabilidad de predicción. Debería moverse en el rango [0,1]. Para mi, esta gràfica da un acercamiento intuitivo pero no bueno. —Aitor Gonzalez

¿Que es el valor de Shapley? De manera sucinta, el valor de Shapley busca responder ¿Cuánto ha contribuido cada valor de las características a la predicción, en comparación con la predicción promedio? (Definición formal)

¿Para que se usa? Se utiliza como estrategia para la asignación de recursos en los nodos que forman parte de la red, con el fin de mejorar el rendimiento, bajo unas políticas de distribución claramente definidas.

El valor de Shapley funciona tanto para la clasificación (si estamos tratando con probabilidades) como para la regresión.

Interpretación Ten cuidado de interpretar correctamente el valor de Shapley: El valor de Shapley es la contribución promedio de un valor de característica a la predicción en diferentes coaliciones. El valor de Shapley NO es la diferencia en la predicción cuando eliminaríamos la función del modelo.

Miremos los siguientes ejemplos:

Ejemplos 1:

Usamos el valor de Shapley para analizar las predicciones de un modelo de bosque aleatorio que predice el cáncer de cuello uterino:

Predicción de cáncer de cuello uterino

En la imágen anterior los valores de Shapley evaluan el caso de una mujer (un solo caso/una sola predicción) en un conjunto de datos de cáncer de cuello uterino.

Se entrena el modelo y se realiza una predicción, que arroja un 0.57 (57 %) de probabilidad de cáncer; esta mujer está 0,54 por encima de la predicción promedio que es 0,03. El número de STD (ETS enfermedades de transmisión sexual) diagnosticadas en ella aumentó más la probabilidad. La suma de las contribuciones arroja la diferencia entre la predicción real y la media (0,54).

Ejemplos 2:

Para el conjunto de datos de alquiler de bicicletas , también entrenamos un bosque aleatorio para predecir la cantidad de bicicletas alquiladas por día, dada la información del clima y el calendario. Las explicaciones creadas para la predicción aleatoria del bosque de un día en particular:

Predecir la cantidad de bicicletas alquiladas por día

En la imagen anterior, los valores de Shapley son para el día 285. Se entreno el modelo y la predicción de bicicletas para el día 285 arroja un pronóstico de 2409 bicicletas de alquiler, este día está -2108 por debajo del pronóstico promedio de 4518. La situación climática y la humedad tuvieron las mayores contribuciones negativas. La temperatura en este día tuvo una contribución positiva. La suma de los valores de Shapley produce la diferencia entre la predicción real y la media (-2108).

Tu ejemplo

Es un model random_forest con los datos iris. "Que entiendo" son los datos Fisher's Iris Data que buscan clasificar las especies: I. setosa, I. versicolor e I. virginica. A través de: Largo de sépalo, ancho de sépalo, largo de pétalo y ancho de pétalo.

Así que entrenamos el modelo, calculamos el promedio de la predición. Realizamos una predicción y se debe generar una diferencia entre el promedio de la predición y la predicción actual.

Al evaluar los valores de Shapley para dicha predicción. Te debe arrojar un pronostico basado en Largo de sépalo, ancho de sépalo, largo de pétalo y ancho de pétalo. Y como cada una de estas características afectas al modelo en su desicion. La suma de los valores de Shapley produce la diferencia entre la predicción real y la media.

introducir la descripción de la imagen aquí

En la imágen que nos presentas apacen caracteristicas como: PANSS_negativos_V12M, PRS_SZ, PRS_IQ, Working_memory, ... CGI_Gravedad_VB_Entre.los.pacientes.más.extremadamente.enfermos

Esos datos nada tienen que ver con el set de datos de Fisher's Iris Data, eso indica que le estas pasando a la funcion que evalua SHAP los datos incorrectos, te deben aparecer datos de Largo de sépalo, ancho de sépalo, largo de pétalo y ancho de pétalo. Para un caso de predicción especifico.

Aqui tienes la predicción del set de datos de iris:

install.packages('randomForest', repos='http://cran.rstudio.com/')
install.packages('tree', repos='http://cran.rstudio.com/')
install.packages('ggplot2', repos='http://cran.rstudio.com/')
install.packages('GGally', repos='http://cran.rstudio.com/')
install.packages('dplyr', repos='http://cran.rstudio.com/')

library(randomForest)

library(tree)
library(ggplot2)
library(GGally)
library(dplyr)


iris %>% head()
iris %>% tail()

summary(iris)

ggpairs(iris[,1:5])

#assign values to the rows (1: Training, 2: Test)
index_row <- sample(2, nrow(iris), replace = T, prob = c(0.7, 0.3) )
train_data <- iris[index_row == 1,]
test_data <- iris[index_row == 2,]

iris_classifier <- randomForest(Species ~., 
                                data = train_data, #train data set 
                                importance = T) 
iris_classifier               #Confusion matrix: prediction evaluation

plot(iris_classifier)


importance(iris_classifier)   #Petal features are more important


varImpPlot(iris_classifier)

qplot(Petal.Width, Petal.Length, data=iris, color = Species)


qplot(Sepal.Width, Sepal.Length, data=iris, color = Species)


predicted_table <- predict(iris_classifier, test_data[,-5])
table(observed = test_data[,5], predicted = predicted_table)

Y AQUÍ como crear los gráficos SHAP

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.