Soy relativamente nuevo en el mundo de R, y me he topado con un problema que no he podido resolver.
Tengo un dataframe bastante pesado (2M de filas) que recoge los id, los sub_id y las fechas de inicio y final de unos trabajos y necesito encontrar la fecha mas antigua por id, teniendo en cuenta que no pueden haber saltos en la secuencia (los trabajos deben tener continuidad entre sub_ids para ser validos). Por ejemplo, este dataframe de prueba (Es largo pero sirve para ilustrar los casos) esta ordenado por fecha FIN y agrupada por ID
df_total <- df_total%>%group_by(ID)%>%order(ID,-FIN)
ID SUB_ID FIN INICIO
1 x 9999-12-31 2018-01-01
1 y 2019-02-01 2019-01-01
1 y 2018-12-31 2018-05-01
1 x 2017-12-31 2012-01-01
1 x 2011-12-31 2011-01-01
1 z 2011-04-30 2011-01-01
1 x 2010-12-31 2000-01-01
2 x 9999-12-31 2018-01-01
2 y 2017-12-31 2015-07-14
2 y 2015-07-13 2015-07-01
2 z 2015-07-13 2000-01-01
2 x 2015-07-10 2015-07-09
3 x 2019-12-31 2000-01-01
3 y 1998-12-31 1990-01-01
Para el ID 1, el sub_id "y" cubre parte del sub_id "x", pero esto no debería significar un problema dado que el mismo sub_id continúa debajo con una fecha válida. Luego para el mismo ID, el sub_id "z" solo es una superposición de otro trabajo, y el ID debería continuar ininterrumpido hasta su último valor. Para el ID 2, la condición de que las fechas sean consecutivas (o exista superposición) se cumple, pero el valor que debería retornar no es el último de su grupo, y finalmente el ID 3 tiene un salto evidente. Al final el df resultante debería ser este:
ID SUB_ID FIN INICIO
1 x 2010-12-31 2000-01-01
2 y 2015-07-13 2000-01-01
3 x 2019-12-31 2000-01-01
Al ser un dataframe de tamaño considerable, he tomado el camino de data.table o dplyr por velocidad y lo que he intentado hasta ahora:
1; Una función sencilla que compara los finales con los inicios y verifica que sean consecutivos o mayores y corta donde encuentra un salto y toma ese valor (Resuelve varios de los casos, pero los casos como el iD 2 arrojan resultados erróneos
2; Otra función que elimina las superposiciones, corta el grupo donde esté el salto y tomar el menor INICIO (Hay casos donde hay fechas menores pero el salto aparece después que dicha fecha, entonces el resultado no es correcto)
Cualquier sugerencia o idea estaría muy apreciada (No comparto el código porque siento que la pregunta ya es bastante larga). Gracias de antemano.
2000-12-31 2000-01-01
y no2011-04-30 2011-01-01
?, si claramente hay un salto entre estas dos fechas