Tengo un problema un tanto avanzado, y me he topado con un muro y no puedo avanzar...
Teniendo un sistema de ordenamiento de pasos para un embudo (funnel), y la data de los cambios de estado en una base de datos a manera de log, quiero ordenar los eventos de tal forma que si un paso vuelve a aparecer, se use la vez más reciente de su aparición como la única (es decir, olvidar todas las anteriores). Adicionalmente, estos pasos tienen una contraparte "en la vida real", por lo que tienen una especie de jerarquía, en la que el paso 1 siempre tiene que ser antes del paso 2, 3, etc. Es decir, si este es el journey del cliente:
*1* -> 2 -> 3 -> 4 -> *2* -> 4 -> 5 -> *3* -> *5*
Entonces debería aparecer, finalmente, como (marqué los que pasan abajo con asteriscos)
1 -> 2 -> 3 -> 5
Llevándolo a la problemática real, la primera parte del problema ya la pude hacer con un ROW_NUMBER
en SQL (consideraría solo el new_stage, no importa que no aparezca el primer paso, lo puedo añadir al final):
SELECT deal_id,
PSL.ORGANIZATION_NAME,
TRIM(S_OLD.Name_agg) OLD_STAGE,
TRIM(S_NEW.Name_agg) NEW_STAGE,
PSL.LOG_TIME,
row_number() OVER (PARTITION BY DEAL_ID, s_old.Name_agg ORDER BY psl.log_time DESC) nro_old_stage,
row_number() OVER (PARTITION BY DEAL_ID, s_new.Name_agg ORDER BY psl.log_time DESC) nro_new_stage
from ods.pipedrive_stage_log psl
JOIN ods.TBL_PIPEDRIVE_SNAPSHOT snap
ON psl.DEAL_ID = snap.id
JOIN ods.pipedrive_stage s_old
ON psl.STAGE_OLD_ID = s_old.ID
JOIN ods.pipedrive_stage s_new
ON psl.STAGE_NEW_ID = s_new.ID
order by deal_id, log_time desc;
Esto me da la siguiente tabla (ejemplo):
deal_id organization_name old_stage new_stage log_time nro_old_stage nro_new_stage
1 Cliente1 Paso1 Paso7 06/06/2020 11:44 1 1
1 Cliente1 Paso6 Paso1 17/04/2020 13:20 1 1
1 Cliente1 Paso5 Paso6 21/02/2020 17:28 1 1
1 Cliente1 Paso6 Paso5 21/01/2020 18:24 2 1
1 Cliente1 Paso5 Paso6 07/01/2020 13:24 2 2
1 Cliente1 Paso4 Paso5 30/12/2019 14:58 1 2
1 Cliente1 Paso5 Paso4 10/12/2019 17:34 3 1
1 Cliente1 Paso3 Paso5 10/12/2019 17:34 1 3
1 Cliente1 Paso4 Paso3 02/10/2019 19:00 2 1
1 Cliente1 Paso3 Paso4 02/10/2019 18:59 2 2
1 Cliente1 Paso2 Paso3 11/09/2019 17:42 1 2
1 Cliente1 Paso3 Paso2 11/09/2019 17:42 3 1
1 Cliente1 Paso2 Paso3 10/07/2019 16:49 2 3
1 Cliente1 Paso4 Paso2 04/07/2019 07:16 3 2
1 Cliente1 Paso2 Paso4 04/07/2019 01:21 3 3
1 Cliente1 Paso3 Paso2 03/07/2019 20:55 4 3
2 Cliente2 Paso3 Paso1 17/04/2020 13:20 1 1
2 Cliente2 Paso2 Paso3 02/10/2019 08:04 1 1
2 Cliente2 Paso3 Paso2 04/07/2019 07:15 2 1
2 Cliente2 Paso2 Paso3 04/07/2019 06:53 2 2
2 Cliente2 Paso0 Paso2 28/06/2019 11:25 1 2
3 Cliente3 Paso4 Paso1 17/04/2020 13:20 1 1
3 Cliente3 Paso3 Paso4 25/09/2019 18:07 1 1
3 Cliente3 Paso2 Paso3 25/09/2019 18:07 1 1
3 Cliente3 Paso0 Paso2 25/09/2019 18:04 1 1
Quisiera sacar la siguiente pivot table, siguiendo las reglas anteriormente dichas, con la jerarquía de los pasos (siempre el paso1 antes que el 2, el 2 antes que el 3, etc. sino descartarlos). Por lo que debería quedar algo así:
Cliente Paso0 Paso1 Paso2 Paso3 Paso4 Paso5 Paso6 Paso7
Cliente1 17/04/2020 13:20 06/06/2020 11:44
Cliente2 04/07/2019 07:15 02/10/2019 08:04
Cliente3 17/04/2020 13:20
O por lo menos un paso antes, serviría solo tener la estructura o reglas para poder armarla. Puedo usar Python, SQL, Excel... Algo que funcione!!!