1

Tengo un data frame que hay que limpiar reemplazando ciertos valores en todas sus variables. La estructura es:

all_data <- data.frame(
  var1 = c('187311','117161','B','A', NA,'D'),
  var2 = c('944545','231354',NA,NA,'A',NA  ),
  var3 = c('944785',NA,'231354','A',NA,'B' ),
  var4 = c(NA,NA,'364829','231354','C','D' ))

Todas las variables son de un mismo tipo, vector de carácteres que pueden contener: números, letras sencilla y NA.

  • Los string que son números deben de ser reemplazados por los del diccionario
  • Los string que son ya una letras sencilla se deberían dejar, ya que están bien etiquetados
  • No se hacen cambios tampoco con los NA.

Para reeemplazar las variables mal etiquetadas tengo el diccionario:

diccionario <- data.frame(
  wrong_name= c(187311,117161, 944545,231354,944785,231354,364829),
  correct_name= c('F','G','H','I','J','K', 'L' ) )

el resultado debería lucir:

all_data <- data.frame(
  var1 = c('F','G','B','A', NA,'D'),
  var2 = c('H','I',NA,NA,'A',NA  ),
  var3 = c('J',NA,'K','A',NA,'B' ),
  var4 = c(NA,NA,'L','K','C','D' ))

aquí dejo un pseudocódigo de lo que he probado con la familia de map y dplyr pero no me da buenos resultados para un proceso así. No es el código completo por que el procedimiento lo he borrado (craso error)

all_data %>%
  map(
       ~imap(
    left_join(.x, test, by = 'wrong_name')) %>%
      mutate(F_mal_codificado = str_detect(., pattern="^[[:digit:]]")) %>%
      mutate(farmaco2 = case_when( F_mal_codificado == TRUE ~ correct_name, F_mal_codificado == F ~ farmaco2))) %>%
      select(.y)
  )

2 respuestas 2

0

Esto deberías probarlo con un volumen real de datos, por que básicamente es una función tipo lookup para reemplazar un valor por otro. Si bien traté de usar la mejor alternativa posible en cuanto a velocidad (ver R fast single item lookup from list vs data.table vs hash), habría que comparar su funcionamiento con dplyr o incluso data.table. La idea como te decía es construir una función de reemplazo, vectorizada para que sea fácil de implementar en un lote de dplyr:

function_replace_name_constructor <- function(wrong_name_vector) {

  diccionario  <- data.frame(
    wrong_name= c('187311','117161', '944545', '231354', '944785', '231354', '364829'),
    correct_name= c('F','G','H','I','J','K', 'L')
  )
  lookup_list <- list2env(setNames(as.list(1:nrow(diccionario)), diccionario$wrong_name))

  lookup <- function(wrong_name_vector) {
    
    sapply(wrong_name_vector, 
           function(wrong_name) {
              x <- diccionario[lookup_list[[wrong_name]], 'correct_name']
              if (length(x) == 0) return(wrong_name)
              x
           })
  }
  return(lookup)
}

replace_name <- function_replace_name_constructor()

Lo único particular, es que uso un patrón de function factory, con el objeto de "encapsular" los datos de reemplazo y no tener que pasar estos todo el tiempo por parámetro. La función que retorna function_replace_name_constructor() y que llamaremos como replace_name() puede usarse directamente con un vector:

replace_name(c('187311','117161', '944545', '231354', '944785', '231354', '364829'))

 187311 117161 944545 231354 944785 231354 364829 
   "F"    "G"    "H"    "K"    "J"    "K"    "L"

Así, es muy natural su aplicación mediante dplyr, imaginando que el reemplazo lo aplicamos a todas las columnas, podemos hacer:

library(tidyverse)

all_data %>% 
  mutate_all(., replace_name)

  var1 var2 var3 var4
1    F    H    J <NA>
2    G    K <NA> <NA>
3    B <NA>    K    L
4    A <NA>    A    K
5 <NA>    A <NA>    C
6    D <NA>    B    D
0

Lo que yo haría sería crear una función que realice los cambios.

f1<-function(x){
  x<-ifelse(x=="187311","F",x)
  x<-ifelse(x=="117161","G",x)
  x<-ifelse(x=="944545","H",x)
  x<-ifelse(x=="231354","I",x)
  x<-ifelse(x=="944785","J",x)
  x<-ifelse(x=="231354","K",x)
  x<-ifelse(x=="364829","L",x)
  x
}

Como son pocos así lo haría, pero si son muchos con un for también se podría hacer. En tu código hay distintos valores para el código 231354 Estás asignando I e K. Me imagino que es uno distinto. En fin.

El detalle, aquí es que la función se puede aplicar a cada uno de los vectores.

La aplicación sería lo siguiente:

all_data %>% mutate_all(list(f1))

EL resultado:

  var1 var2 var3 var4
1    F    H    J <NA>
2    G    I <NA> <NA>
3    B <NA>    I    L
4    A <NA>    A    I
5 <NA>    A <NA>    C
6    D <NA>    B    D

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.