5

estoy teniendo problemas con mi código.

Tengo el siguiente DataFrame:

 Nombre Perro   Fecha
   Pipo       2020-03-01
   Pipo       2020-03-02
   Pipo       2020-03-03
   Pipo       2020-03-05
   Pipo       2020-03-06
   Pipo       2020-03-07
   Pipo       2020-03-08
   Lula       2020-03-01
   Lula       2020-03-02
   Lula       2020-03-04
   Lula       2020-03-05
   Lula       2020-03-06
   Lula       2020-03-08
   Lula       2020-03-09

Necesito que para cada grupo de perros, me diga si se encuentran todas las fechas dentro de un rango dado. Que en este caso es del 2020-03-01 al 2020-03-10

Por ejemplo, para "Pipo" faltan las fechas:

  • 2020-03-04
  • 2020-03-09
  • 2020-03-10

y para "Lula" faltan las fechas:

  • 2020-03-03
  • 2020-03-07
  • 2020-03-10

Ya intente con groupby pero no paso de ahi.

Si alguien se le cae una idea sería buenisimo :)

EDITO:

Probe con una funcion que rellenara el dataframe con las fechas que falta:

def fill_in_missing_dates(df, date_col_name='Nombre_Perro'): idx = pd.date_range('03/01/2020', '03/10/2020') df2 = df.set_index(date_col_name).reindex(idx).fillna(0.0).rename_axis('Nombre_Perro') return df

Y esto me da como resultado:

            Nombre Perro        Fecha        
    Pipo                        2020-03-01      Pipo
                                2020-03-02      Pipo
                                2020-03-03      Pipo
                                2020-03-04        0.0
                                2020-03-05      Pipo
                                2020-03-06      Pipo
                                2020-03-07      Pipo
                                2020-03-08      Pipo
                                2020-03-09        0.0
                                2020-03-10        0.0
     Lula                       2020-03-01      Lula
                                2020-03-02      Lula
                                2020-03-03        0.0
                                2020-03-04      Lula
                                2020-03-05      Lula
                                2020-03-06      Lula
                                2020-03-07        0.0
                                2020-03-08      Lula
                                2020-03-09      Lula
                                2020-03-10        0.0

Si bien ya casi estoy, ¿sería posible obtener esas filas con loc?

5
  • Hola Fátima, puedes compartir lo que has intentado hacer?, cual es el error que te arroja? el 20 jun. 2020 a las 14:33
  • Hola Lucas! Lo que he intentado es agruparlo por nombre de perro y aplicarle una funcion para que verifique que tiene todas las fechas dentro de un rango. El problema es que no se como hacer esa ultima parte. Encontre funciones en internet pero algunas no las entiendo y otras no me funcionaron. el 20 jun. 2020 a las 15:00
  • Ahi estuve probando con la funcion apply me quedo: fileG = file.groupby('Nombre_Perro').apply() y dentro habia probado una función pero no me funcionó... Igualmente, debe ser que no estoy entendiendo bien lo que hace la misma jaja el 20 jun. 2020 a las 15:05
  • Te basta con que te diga para cada grupo si están o no están todas las fechas (true o false), o necesitas que te diga qué fechas faltan en cada grupo?
    – abulafia
    el 20 jun. 2020 a las 15:35
  • Necesito que me diga el nombre del perro y que fecha falta >.< el 20 jun. 2020 a las 15:39

1 respuesta 1

3

Empecemos asegurándonos de que la columna Fecha contiene en realidad objetos de tipo datetime:

import pandas as pd

df = pd.read_csv("tus-datos.csv")   # Supongo que los lees de un csv, o como sea

# Convertir a datetime la columna Fecha
df.Fecha = pd.to_datetime(df.Fecha)

Este es el dataframe:

   Nombre      Fecha
0    Pipo 2020-03-01
1    Pipo 2020-03-02
2    Pipo 2020-03-03
3    Pipo 2020-03-05
4    Pipo 2020-03-06
5    Pipo 2020-03-07
6    Pipo 2020-03-08
7    Lula 2020-03-01
8    Lula 2020-03-02
9    Lula 2020-03-04
10   Lula 2020-03-05
11   Lula 2020-03-06
12   Lula 2020-03-08
13   Lula 2020-03-09

Ahora escribo una función que reciba como parámetros dos secuencias de fechas. La idea es que la primera secuencia sea una serie de fechas correlativas, desde el 01-03-2020 al 10-03-2020 por ejemplo, mientras que la segunda serían las fechas de un perro. La función retornará una lista con qué fechas del rango faltan. Para ello convierto ambas secuencias en conjuntos, hago la diferencia de conjuntos, y convierto el resultado de nuevo en lista:

def encontrar_fechas(rango, lista_fechas):
  set_faltan = set(rango) - set(lista_fechas)
  return list(sorted(set_faltan))

Y ya está todo listo para aplicar esta función a cada grupo, con ayuda de una lambda que llame a la función pasándole el rango de fechas deseado y la columna .Fecha de cada grupo, convirtiendo el resultado a una Serie pandas:

# Crear el rango de fechas de interés
rango = pd.date_range("2020-03-01", "2020-03-10")

# Agrupar y aplicar función
resultado = df.groupby("Nombre").apply(
    lambda x: pd.Series(encontrar_fechas(rango, x.Fecha))
)

El resultado es:

                0          1          2
Nombre                                 
Lula   2020-03-03 2020-03-07 2020-03-10
Pipo   2020-03-04 2020-03-09 2020-03-10

Edit: explicación sobre apply() y lambda

Cuando haces un groupby().apply() necesitas pasarle a apply() una función. Lo que ocurrirá es que, para cada grupo generado por groupby(), se ejecutará la función que hayas pasado a apply(). Al ejecutar esa función se le pasará como parámetro un dataframe que contiene un subconjunto (un grupo) del dataframe original, la función hará algo con ese sub-dataframe y retornará lo que considere oportuno (que puede ser un número, una Serie u otro dataframe). Con los resultados que de este modo se vayan obteniendo para cada grupo, se montará otro dataframe final con los resultados.

En este caso concreto, la función que se le está pasando a apply() es una lambda. Este tipo de funciones son anónimas (no tienen nombre), y deben consistir simplemente en una expresión, que será el valor retornado. Así pues, en este caso concreto, la función recibe un parámetro llamado x y retorna como resultado pd.Series(encontrar_fechas(rango, x.Fecha))

Como hemos dicho, x será un subconjunto del dataframe original, conteniendo sólo los elementos de un grupo. Por tanto x.Fecha será la columna "Fecha" de ese grupo. Por tanto será una secuencia con las fechas correspondientes a "Pipo" en la primera iteración de groupby() o a "Lula" en la segunda iteración.

La expresión pd.Series(encontrar_fechas(rango, x.Fecha)) llama a encontrar_fechas() pasándole como segundo parámetro las fechas en cuestión (y como primer parámetro el rango de fechas deseado). Esta función retorna una lista con las fechas ausentes en el rango. pd.Series() convierte esa lista retornada en una Serie pandas.

De ese modo, en cada llamada a la lambda, para cada grupo hallado, se obtiene una Serie. Éstas se van concatenando para crear así el dataframe final que has visto, con una fila para cada grupo y en cada fila la serie de fechas halladas.

4
  • Muchisimas gracias por la respuesta! Tengo una duda, no termino de entender como es que funciona el lambda en el apply... ¿sabes de algún lugar donde pueda leer de eso? Gracias! el 20 jun. 2020 a las 17:12
  • 1
    si haces df['Fecha'].apply(lambda x: "Hola "+str(x)) , vas a aplicarle a cada elemento de la columna Fecha, un prefijo "Hola" (OJO, solo lo va a mostrar). En su ejemplo df.groupby("Nombre").apply... está aclarando que para cada "grupo" formado, va a "aplicar" la funcion encontrar_fechas. puedes ver un ejemplo de grupos formados despues de un groupby aqui. el 20 jun. 2020 a las 17:53
  • 1
    @FátimaLluch He editado la respuesta para explicar con más detalle esa parte
    – abulafia
    el 20 jun. 2020 a las 18:30
  • Genial. Les super agradezco a todos. Ya me estaba volviendo loca TnT el 20 jun. 2020 a las 19:04

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.