5

Estoy empezando a usar python y tengo un DataFrame de aproximadamente 30.000 registros. Una de las columnas (tiene 4) corresponde al "id" de los datos. El DataFrame se actualiza diariamente con lo que cada "id" tiene diferentes entradas según la fecha. Lo siguiente es un DataFrame tipo:

import pandas as pd
df = pd.DataFrame({'id': [1, 1, 1, 2, 2, 2, 3, 3, 3], 'velocidad': [10, 20, 0, 4, 7, 8, 19, 36, 88]})
print(df)

Para seleccionar los valores asociados a cada elemento hice lo siguiente:

# Para seleccionar los elementos hice lo siguiente
df = pd.DataFrame(df[(df['id'] == 1)])
df = pd.DataFrame(df[(df['id'] == 2)])
df = pd.DataFrame(df[(df['id'] == 3)])

Considero que no es la mejor manera, ya que como en mi caso que tengo mas de 200 'id' la solución no es la que más optimiza el proceso. Por ello, estoy buscando la función general que permita realizar la extracción/selección de los elementos según el "id", destacando que con "función general" me refiero a que haga la extracción/selección sin tener que especificar el nombre del "id" sino más bien un bucle for. Estuve leyendo al respecto pero no he logrado conseguir como crear este tipo de bucle con DataFrame.

4
  • Bienvenido Relax_And_Enjoy a Stack Overflow en español, te sugiero que hagas el recorrido de bienvenida y de paso ganes tu primer medalla, también es muy importante que leas Cómo preguntar para poder mejorar tu pregunta y que sea bien recibida por la comunidad mejorando tus chances de obtener buenas respuestas.. Commented el 16 ene. 2020 a las 19:25
  • ¿Lo que buscas es seleccionar los datos de un conjunto de varios id? Commented el 16 ene. 2020 a las 19:26
  • Muchas gracias por las recomendaciones Patricia Moracho. Exactamente lo que quiero es tener un bucle for que me permita seleccionar el id y no tener que hacerlo uno a uno. Considera que el mismo id tiene varias entradas. Commented el 16 ene. 2020 a las 20:10
  • No me queda claro.si quieres crear un nuevo dataframe que contenga uno a más ids extraídos del dataframe principal o crear un dataframe por cada id del dataframe principal? Commented el 16 ene. 2020 a las 22:30

4 respuestas 4

1

Crear un bucle utilizando Series.unique es una opción, sin embargo esto con grandes DataFrames resulta algo ineficiente. Lo que realmente es recomendable en la mayoría de los casos es utilizar DataFrame.groupby.

Ejemplo

for Id, group in df.groupby('id'):
    print(f'{Id}\n{group}\n')

Salida

1

   id  velocidad
0   1         10
1   1         20
2   1          0

2
   id  velocidad
3   2          4
4   2          7
5   2          8

3
   id  velocidad
6   3         19
7   3         36
8   3         88

Si alguna vez necesitas dividir el DataFrame simplemente puedes crear un diccionario:

dfs = {Id:group for Id, group in df.groupby('id')}
#dfs = dict(tuple(df.groupby('id'))) #un poco más lento
#dfs = dict(df.goupby('id').__iter__()) #lo mismo

Luego podrías acceder por la clave de ID:

print(dfs[1])

o con un bucle:

for Id, group in dfs.items():

Te dejo una comparatativa del método con Series.unique frente groupby:

Tiempos para el marco de datos de ejemplo

%%timeit
dfs = {Id:group for Id, group in df.groupby('id')}
1.24 ms ± 2.55 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
%%timeit
dfu = {Id:df[df['id'].eq(Id)] for Id in df['id'].unique()}
2.23 ms ± 91 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)  

Marcos de Datos más grandes

import numpy as np
np.random.seed(100)

df = pd.DataFrame({'id':np.random.randint(1,201,20000),
                   'velocidad':np.random.randint(1,250,20000)})

%%timeit
dfu = {Id:df[df['id'].eq(Id)] for Id in df['id'].unique()}
129 ms ± 376 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)


%%timeit
dict(df.groupby('id').__iter__())
27.7 ms ± 637 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

%%timeit
{Id:group for Id,goup in df.groupby('id')}
26.9 ms ± 410 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

%%timeit
dict(tuple(df.groupby('id')))
36.3 ms ± 398 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
0

Si los que buscas es seleccionar filas según varios valores para una columna, puede serte útil usar .isin():

ids_a_seleccionar = [1,2,3]
new_df = df[df['id'].isin(ids_a_seleccionar)]
0

Si lo que quieres es extraer por bloques los ids del dataframe principal sin tener que indicar su valor puedes hacer lo siguiente:

  ids=df["id"].value_counts().index
  for id in ids:
        df1 = df[(df['id']==id])]
        # procesar df1
0
ids = df['id'].unique()
for item in ids:
    df1 = df[(df['id']==item])]
    # Procesar dataframe

Con este sencillo código puedes navegar por los diferentes id sin saber cuales son en principio.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.