2

Soy relativamente nuevo en el mundo de R, y me he topado con un problema que no he podido resolver.

Tengo un dataframe bastante pesado (2M de filas) que recoge los id, los sub_id y las fechas de inicio y final de unos trabajos y necesito encontrar la fecha mas antigua por id, teniendo en cuenta que no pueden haber saltos en la secuencia (los trabajos deben tener continuidad entre sub_ids para ser validos). Por ejemplo, este dataframe de prueba (Es largo pero sirve para ilustrar los casos) esta ordenado por fecha FIN y agrupada por ID

df_total <- df_total%>%group_by(ID)%>%order(ID,-FIN)

ID   SUB_ID  FIN         INICIO
1    x       9999-12-31  2018-01-01
1    y       2019-02-01  2019-01-01
1    y       2018-12-31  2018-05-01
1    x       2017-12-31  2012-01-01
1    x       2011-12-31  2011-01-01
1    z       2011-04-30  2011-01-01
1    x       2010-12-31  2000-01-01
2    x       9999-12-31  2018-01-01
2    y       2017-12-31  2015-07-14
2    y       2015-07-13  2015-07-01
2    z       2015-07-13  2000-01-01
2    x       2015-07-10  2015-07-09
3    x       2019-12-31  2000-01-01
3    y       1998-12-31  1990-01-01

Para el ID 1, el sub_id "y" cubre parte del sub_id "x", pero esto no debería significar un problema dado que el mismo sub_id continúa debajo con una fecha válida. Luego para el mismo ID, el sub_id "z" solo es una superposición de otro trabajo, y el ID debería continuar ininterrumpido hasta su último valor. Para el ID 2, la condición de que las fechas sean consecutivas (o exista superposición) se cumple, pero el valor que debería retornar no es el último de su grupo, y finalmente el ID 3 tiene un salto evidente. Al final el df resultante debería ser este:

ID   SUB_ID  FIN         INICIO
1    x       2010-12-31  2000-01-01
2    y       2015-07-13  2000-01-01
3    x       2019-12-31  2000-01-01

Al ser un dataframe de tamaño considerable, he tomado el camino de data.table o dplyr por velocidad y lo que he intentado hasta ahora:

1; Una función sencilla que compara los finales con los inicios y verifica que sean consecutivos o mayores y corta donde encuentra un salto y toma ese valor (Resuelve varios de los casos, pero los casos como el iD 2 arrojan resultados erróneos
2; Otra función que elimina las superposiciones, corta el grupo donde esté el salto y tomar el menor INICIO (Hay casos donde hay fechas menores pero el salto aparece después que dicha fecha, entonces el resultado no es correcto)


Cualquier sugerencia o idea estaría muy apreciada (No comparto el código porque siento que la pregunta ya es bastante larga). Gracias de antemano.

4
  • No me cierra la lógica con el ejemplo que das, con el grupo 1 ¿Por qué el resultado es 2000-12-31 2000-01-01 y no 2011-04-30 2011-01-01?, si claramente hay un salto entre estas dos fechas Commented el 8 abr. 2019 a las 3:19
  • No logro entender lo que quieres.
    – Johan Rosa
    Commented el 8 abr. 2019 a las 18:50
  • @PatricioMoracho fue mi error, al poner la información, he actualizado el ejempl. Gracias por la acotación. Commented el 9 abr. 2019 a las 16:06
  • @AaronParrilla, perfecto, ahora si me cierra todo. Actualice también el ejemplo de la salida esperada con el nuevo valor. Saludos. Commented el 9 abr. 2019 a las 17:31

1 respuesta 1

0

Entiendo que lo que buscas es encontrar la fila con la menor fecha de inicio en cada grupo (ID), hasta que se detecte un "salto" de fechas o un cambio de grupo. El "salto" de fecha vendría dado por el hecho que un fila tuviera una fecha fin inferior y no consecutiva al la última fecha mínima de inicio del grupo.

Primero, construimos un ejemplo con tus datos:

df_total <- read.table(text="
ID   SUB_ID  FIN         INICIO
1    x       9999-12-31  2018-01-01
1    y       2019-02-01  2019-01-01
1    y       2018-12-31  2018-05-01
1    x       2017-12-31  2012-01-01
1    x       2011-12-31  2011-01-01
1    z       2011-04-30  2011-01-01
1    x       2010-12-31  2000-01-01
2    x       9999-12-31  2018-01-01
2    y       2017-12-31  2015-07-14
2    y       2015-07-13  2015-07-01
2    z       2015-07-13  2000-01-01
2    x       2015-07-10  2015-07-09
3    x       2019-12-31  2000-01-01
3    y       1998-12-31  1990-01-01", header=TRUE, stringsAsFactors=FALSE)

Lo que vamos a hacer, una una función que pueda recorrer un grupo de filas y hallar la fila dónde a partir de dónde se da el "salto" que hemos mencionado:

get_min_date <- function(group_df) {

    min_fecha <- group_df$INICIO[1]
    for (i in 2:nrow(group_df)) {
        # Si la fecha fin + 1 dia >= a la mínima actual
        if (group_df$FIN[i]+1 >= min_fecha) {
            # Si ademas la fecha inicio es menor a la mínima actual
            # entonces la fila es consecutiva 
            if (group_df$INICIO[i] < min_fecha) {
                # Si además INICIO es inferior a la mínima actual
                # actualizamos este dato
                min_fecha = group_df$INICIO[i]
            }
        }
    }
    # Retonamos la última fila de las que INICIO es igual a la mínima
    tail(group_df[group_df$INICIO==min_fecha,],1)
}

Esta función, nos retornará la última fila que consideramos parte de lo que es hasta ahora la tarea. Ahora simplemente "aplicamos" la función:

library(tidyverse)
df_total %>% 
    mutate(INICIO = as.Date(INICIO, format='%Y-%m-%d'),
           FIN    = as.Date(FIN, , format='%Y-%m-%d')
    ) %>% 
    arrange(ID,desc(FIN)) %>% 
    group_by(ID) %>% 
    do(get_min_date(.))

# A tibble: 3 x 4
# Groups:   ID [3]
     ID SUB_ID FIN        INICIO    
  <int> <chr>  <date>     <date>    
1     1 x      2010-12-31 2000-01-01
2     2 z      2015-07-13 2000-01-01
3     3 x      2019-12-31 2000-01-01

Importante: Esto funciona fundamentalmente por que se dan las siguientes condiciones:

  • Las fechas, son realmente datos Date, necesario por que usamos aritmética con la fecha para sumar un día y ver si es consecutiva a otra
  • Los datos están ordenados por ID,desc(FIN)

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.