Estoy trabajando en un problema de clasificación para una variable binaria y me he decantado por usar el entorno tidymodels
.
Ya he pasado la fase de crear los workflow
. Hice pruebas como con 20 modelos y he seleccionado mi modelo definitivo y ajustado con last_fit
. Es un model random_forest
con el engine ranger
. Como tenía muchos modelos ocupando espacio en memoria lo guardé en un objeto rds, llamado M1
. Dejo un ejemplo con los datos iris
:
# ejemplo con el data frame iris
iris
set.seed(246)
iris_split <- initial_split(iris, prop = 0.7, strata = Species )
iris_training <- training(iris_split)
iris_test <- testing(iris_split)
Receta_1 <-
recipe(Species ~ ., data= iris_training, strata = Species ) %>%
step_dummy(all_nominal(), -all_outcomes(), one_hot = T) %>%
step_other(threshold = 0.7 )
Modelo_RandomForest <-
rand_forest(mtry = tune(), trees = tune(), min_n = tune()) %>%
set_engine("ranger", importance = "impurity") %>%
set_mode("classification")
wf_set <- workflow_set(
preproc = list(M1 = Receta_1),
models = list(RandomForest = Modelo_RandomForest),
cross = T)
train_resamples <- vfold_cv(iris_training, v = 5, strata = Species)
class_metric <- metric_set(accuracy, j_index, precision, sensitivity, specificity, roc_auc, f_meas,recall, mcc )
wf_sample_exp <- wf_set %>%
workflow_map(
resamples = train_resamples,
fn = "tune_grid",
grid = 10,
verbose = TRUE,
metrics = class_metric,
seed = 246)
wf_sample_exp
M1_best_result <- wf_sample_exp %>%
extract_workflow_set_result('M1_RandomForest') %>%
select_best(metric = 'specificity')
M1 <- wf_sample_exp %>%
extract_workflow('M1_RandomForest') %>%
finalize_workflow(M1_best_result) %>%
last_fit(iris_split, metrics = class_metric )
M1
El resultado luce como un objeto last_fit
:
En base a eso, me guardé también el split inicial y el training y el testing de los datos.
Ahora lo que estoy buscando es sacar los valores SHAP para hacer el modelo entendible. Me interesan los valores individuales y de las variabes.
Cosas que he probado leyendo en foros / artículos de Rpubs:
# Solucion 1 ////////////////////////////////////////////
X <- bake(extract_recipe(M1),training(M1$splits[[1]])) %>% as.matrix()
M1_mod <- extract_workflow(M1) %>% pull_workflow_fit()
shap <- explain( M1_mod$fit, X = X, pred_wrapper = 'custom_residual')
# Solucion 2 ////////////////////////////////////////////
Model_explainer <-
explain_tidymodels(
M1_mod,
data = M1_vip_train,
y = PNS_train$PNS_reincidencia,
label = "M1 Random forest",
verbose = FALSE)
model_parts(
explainer = Model_explainer,
type = "raw")
# Solucion 3 ////////////////////////////////////////////
M1_vi_data <- M3 %>%
extract_fit_parsnip() %>% vi()
La solución 3 me traen una gráfica
Ell problema es que no sé cómo interpretar esto, ya que debería modificar una probabilidad de predicción. Debería moverse en el rango [0,1]. Para mi, esta gràfica da un acercamiento intuitivo pero no bueno.
También he probado con los entornos fastshap
shapviz
SHAPforxgboost
pero en todos ha sido un fracaso notable. No sé si es por usar la sintaxis inadecuadamente.