1

Tengo un fichero de datos que, minimizado (el fichero original contiene más rondas y niveles de "Contenido"), responde más o menos a la siguiente estructura (datos):

Ronda  Contenido  Salida
1        0        [1,1,1,1]
1        0        [1,1,1,1]
1        0.1      [1,1,1,1]
1        0.1      [1,1,1,1]
1        0.2      [1,1,1,1]
1        0.2      [1,1,1,1]
2        0        [1,0,2,1]
2        0        [2,0,1,1]
2        0.1      [2,1,1,0]
2        0.1      [2,1,1,0]
2        0.2      [3,1,0,0]
2        0.2      [4,0,0,0]

Me gustaría (aprender a) obtener la media e intervalo de confidencia al 95% del primer valor de la lista en la columna "Salida", para cada combinación de Ronda y Contenido. En el ejemplo obtendríamos algo así:

Ronda    Contenido   Media Salida
1        0           1
1        0.1         1
1        0.2         1
2        0           1.5
2        0.1         2
2        0.2         3.5

La idea es generar un gráfico que represente "Ronda" en el eje x, "Media+CI95% de Salida" en el eje y, para cada valor de "Contenido". Tenía pensado utilizar un código similar al que sigue, pero claro, el tratamiento de la columna "Salida" debe ser distinto:

y <- datos$Salida
z <- datos$Contenido
g <- datos$Ronda
z = factor(z, levels = c(0, 0.1, 0.2))
data <- data.frame(y,z,g)
library(dplyr)
library(ggplot2)
library(tidyverse)
library(scales) 
data %>%
  group_by(g, z) %>%
  summarise(media = mean(y), 
            desvio = sd(y),                             #Estimación de la media
            error_est = desvio / sqrt(n()),             #Error estandar de la estimación de la media. 
            intervalo_sup = media + (2*error_est),      #Techo del intervalo. 
            intervalo_inf = media - (2*error_est)) %>%  #Piso del intervalo al 95%.
  ggplot(aes(x = g, y = media, color = clave)) +
  labs(title=mytitle1) +
  geom_point() +                                        #Para que genere una salida gráfica cuando sólo hay un data point.
  geom_line(aes(group = clave), size=1) +                       #Las líneas que unen los puntos de cada grupos xz
  geom_errorbar(aes(ymax = intervalo_sup,               #Intervalor al 95% para cada punto. 
                    ymin = intervalo_inf),
                width=0.3) + 
  #theme_minimal() +
  labs(x = "Round", y = "Mean+CI", color = "Model") +
  scale_color_manual(labels = c("0", "0.1","0.2"), values = c("blue","red","purple")) +
  theme(legend.position="bottom", legend.text=element_text(size=12)) +
  theme(axis.text=element_text(size=14),
        axis.title=element_text(size=14))

Nota: la columna Salida aparece así en el dataframe porque se trata de listas de enteros creadas con Python.

Gracias por la ayuda.

4
  • ¿Qué tal pyring? No me queda claro el alcance de tu pregunta ¿Se trata de como "extraer" el primer valor de la columna Salida? ¿Salida que es, una vector o una lista? Commented el 12 sept. 2018 a las 20:24
  • @Patricio Moracho hola! Exacto. La media solo la deseo realizar sobre el primer valor de la columna. He añadido los resultados de medias que obtendríamos en el ejemplo dado.
    – pyring
    Commented el 12 sept. 2018 a las 20:37
  • Ahora bien, el fichero ¿ya has logrado importarlo? si es así, podrías compartir la estructura del data.frame, por ejemplo str(df) o mucho mejor dput(head(df). Commented el 12 sept. 2018 a las 20:55
  • Gracias @Patricio Moracho, acabo de añadir un link a un archivo de datos que contiene una estructura similar al csv original.
    – pyring
    Commented el 13 sept. 2018 a las 9:02

2 respuestas 2

2

Tu archivo CSV no es del todo amigable para utilizarlo directamente, la columna Salida parece ser una lista de valores. Lo primero que podemos hacer es importarlo y estudiar la columna más en detalle:

data <- read.csv("C:/Tmp/data.csv", stringsAsFactors=FALSE)

# Contamos cantidad de , 
n <- unique(lengths(regmatches(data$Salida, gregexpr(",",  data$Salida)))) + 1
n

[1] 8

Hemos importado el archivo tal como está, luego contamos la cantidad de , que tienen todas las observaciones de Salida y vemos si la columna es heterogénea en cuanto a la cantidad de valores. Puedo verificar que todas las observaciones de Salida tienen 8 posibles valores, lo cual nos allana el camino para "expander" las cadenas separadas por comas en columnas reales.

# Primero quitamos ambos corchetes
data$Salida <- gsub('\\[|\\]', '', data$Salida)

# Separamos los 8 valores posibles de Salida en una matrix de nro.filas x 8
m <- matrix(as.integer(unlist(strsplit(data$Salida, "\\,"))), byrow= T, ncol=n)
colnames(m) <- paste0("V",1:n)

# Combinamos la matriz al data.frame original
data <- cbind(data, m)
data <- data[, -4] # Borramos la columna Salida

head(data)

  X Ronda Contenido V1 V2 V3 V4 V5 V6 V7 V8
1 1     1         0  1  1  1  1  1  1  1  1
2 2     1         0  1  1  1  1  1  1  1  1
3 3     1         0  1  1  1  1  1  1  1  1
4 4     2         0  2  1  2  0  1  0  1  1
5 5     2         0  1  1  0  2  2  0  0  2
6 6     2         0  1  1  1  1  2  0  1  1

Como puedes observar, hemos transformado la columna salida en 8 columnas llamada V1..8, ahora, usar la primera o cualquier otra es trivial.

Todo lo anterior, usando R base, pero si tienes tidyverse se hace increiblemente más simple y claro:

library(tidyverse)

data %>%
    mutate(Salida = gsub('\\[|\\]', '', Salida)) %>% # Quitamos corchetes
    separate(Salida, into=paste0("V",1:8))           # Separamos Salida en columnas

NOTA: Todo esto si quieres resolverlo mediante R, lo cierto es que en este ejemplo, dónde la cantidad de valores es siempre fija, podrías usar cualquier otra herramienta de reemplazo para quitar los corchetes [] con lo cual te terminaría quedando un simple archivo CSV perfectamente importable.

3
  • 2
    Como no es R lo agrego como comentario: Si tienes acceso a bash (con Linux, macOS, Windows con Linux Services for Windows) podrías corregir el archivo con la siguiente línea awk -F'"' -v OFS='' '{ for (i=2; i<=NF; i+=2) gsub("\\[|\\]", "", $i) } 1' data.csv > output.csv, donde data.csv es el nombre del archivo problemático y output.csv el nombre del archivo resultante. Esto elimina todos los corchetes. La ventaja sobre una solución es R es que es prácticamente instantaneo, aún para archivo enormes. Es feo, pero efectivo.
    – mpaladino
    Commented el 13 sept. 2018 a las 16:08
  • Gracias @mpaladino. Respuesta muy útil. Sí, utilizo cygwin
    – pyring
    Commented el 13 sept. 2018 a las 21:42
  • Gracias @Patricio Moracho, el código funciona muy bien para el propósito
    – pyring
    Commented el 13 sept. 2018 a las 21:43
2

Aunque con los datos ya no es relevante conservo la respuesta porque sirve para otro problema: extraer elementos dentro de una lista en un data.frame.

Algo así serán tus datos?

data.frame(Ronda = c(1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2), 
           Contenido = c(0, 0, 0.1, 0.1, 0.2, 0.2, 0, 0, 0.1, 0.1, 0.2, 0.2)) -> foo
foo$Salida <- list (c (1,1,1,1), c (1,1,1,1), c (1,1,1,1), c (1,1,1,1), c (1,1,1,1), c (1,1,1,1), c (1,0,2,1), c (2,0,1,1), c (2,1,1,0), c (2,1,1,0), c (3,1,0,0), c (4,0,0,0))`

De modo que:

str(foo)
'data.frame':   12 obs. of  3 variables:
  $ Ronda : num  1 1 1 1 1 1 2 2 2 2 ...
$ Conte : num  0 0 0.1 0.1 0.2 0.2 0 0 0.1 0.1 ...
$ Salida:List of 12
..$ : num  1 1 1 1
..$ : num  1 1 1 1
..$ : num  1 1 1 1
..$ : num  1 1 1 1
..$ : num  1 1 1 1
..$ : num  1 1 1 1
..$ : num  1 0 2 1
..$ : num  2 0 1 1
..$ : num  2 1 1 0
..$ : num  2 1 1 0
..$ : num  3 1 0 0
..$ : num  4 0 0 0

Sería muy importante que siguieras la recomendación de @Patricio Moracho y subieras un ejemplo de tus datos. Si salidas es una lista de listas en lugar de una lista de vectores (como en foo) la solución podría no funcionar. Si tus datos tienen esta estructura podrías crear una nueva columna con el primer elemento de cada lista de Salida con:

foo$salida1 <- sapply(foo$Salida, `[`, 1)

sapply() pasa una función por una lista y foo$Salida es una lista. Dentro de un data.frame, pero lista al fin. Al ser sapply() se simplifica el output, convirtiéndolo en vector. `[` es una función de subsetting que extrae valores por posición, en este caso el valor con índice 1.

Con esos datos podrías hacer:

  library(tidyverse)
  foo %>% 
  group_by(Ronda, Contenido) %>% 
  summarise(media = mean(salida1), 
            desvio = sd(salida1),
            error_est = desvio / sqrt(n()),             
            intervalo_sup = media + (2*error_est),      
            intervalo_inf = media - (2*error_est)) %>% 
  ungroup %>% 
  mutate(Ronda = as.factor(Ronda), Contenido = as.factor(Contenido)) %>% 
  ggplot(aes(x = Ronda, y = media, color = Contenido)) +   
  geom_point(position = position_dodge(0.3)) +                       
  geom_errorbar(aes(ymax = intervalo_sup,            
                    ymin = intervalo_inf),                      
                position=position_dodge(0.3), 
                width = 0.3)

Que produce:

Gráfico de pyring 4

3
  • Gracias @mpaladino, acabo de añadir un link en el artículo para tener acceso a la estructura de los datos de la columna "Salida", que es con la que no se operar.La idea del gráfico es exáctamente ésta, quizá utilizando geom_line para unir esas medias. Pero esta es la idea.
    – pyring
    Commented el 13 sept. 2018 a las 9:05
  • En ese caso la solución de @Patricio Moracho es la más directa. De todos modos, ya con los datos, agregué una solución alternativa con bash
    – mpaladino
    Commented el 13 sept. 2018 a las 16:00
  • Gracias, utilizo cygwin
    – pyring
    Commented el 13 sept. 2018 a las 21:41

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.