0

Poseo una lista con 140 alementos, los cuales pido 3 datos de ellos a una api y almaceno sus datos en una lista, todo esto lo realizo reutilizando las mismas listas, ya que recibo los datos, los almaceno en listas y las agrego al dataframe y elimino el contenido de las listas para volver a repetir, a lo que serian unas 420 columnas de datos que agrego a mi dataframe. el codigo funciona bien, sin problemas, pero en consola me muestra lo siguiente:

PerformanceWarning: DataFrame is highly fragmented. This is usually the result of calling frame.insert many times, which has poor performance. Consider joining all columns at once using pd.concat(axis=1) instead. To get a de-fragmented frame, use newframe = frame.copy()

mi codigo seria algo asi:

import os
import pandas as pd

data=[1,2,3,4,5,7,8,9....140]

alto=[]
largo=[]
ancho=[]


df = pd.DataFrame()

for i in data:

    alto.clear()
    largo.clear()
    ancho.clear()

    obj=client_get_data(i)

    """ respuesta de la API
la misma me da unos 50 resultados parecidos a estos, ya que los objetos cambian sus dimensiones con el tiempo y la consulta la hago desde que se creo
[
  [
    150,      // alto
    '20',       // ancho
    '70',       // largo
    1354255   //ignorar
  ]
]"""

        
    for element in obj:           
        alto.append(element[0])
        ancho.append(element[1])
        largo.append(element[2])

    #agrego las listas al dataframe y convierto dos de sus datos a tipo float para su uso final ya que los recibo string
    df[f'alto {i}']=alto
    df[f'ancho {i}']=ancho
    df[f'ancho {i}'] = pd.to_numeric(df[f'ancho {i}'], downcast="float")
    df[f'largo {i}']=largo
    df[f'largo {i}'] = pd.to_numeric(df[f'largo {i}'], downcast="float")

    df[f'volumen {i}']=df[f'alto {i}']*df[f'ancho {i}']*df[f'largo {i}']

    #elimino esas columnas del dataframe ya que no las utilizare mas

    df=df.drop([f'alto {i}', f'ancho {i}',f'largo {i}'], axis=1) 

#para terminar guardo los datos en un excel
df.to_excel(f"{os.path.dirname(__file__)}\data.xlsx",index=False)

habria alguna manera de agregar los datos al dataframe sin que saltara ese aviso

5
  • Es posible que al crear y eliminar las columnas de ancho, largo y alto en cada iteración algo no le guste a pandas ¿Por qué no creas la columna volumen directamente con los datos sin crear las columnas de ancho, largo y alto? el 19 sep. 2022 a las 2:03
  • me viene a la mente un bucle que multiplique cada valor de cada lista,es eso? asi: for i,j,k in zip(lista,lista2,lista3): print(ijk)
    – Nigan
    el 19 sep. 2022 a las 2:19
  • No, en cada iteración estás creando esas columnas y luego las eliminas, utiliza directamente las variables para calcular el volumen el 19 sep. 2022 a las 2:22
  • disculpa mi ignorancia, soy algo nuevo en pandas, como tomaria esos valores sin crear las columnas??
    – Nigan
    el 19 sep. 2022 a las 2:24
  • cabe añadir que recibo un historial sobre el objetivo, ante tenia otras medidas, va cambiando con el tiempo y hago la consultas desde que se creo
    – Nigan
    el 19 sep. 2022 a las 2:27

1 respuesta 1

0

la mejor forma de agregar "demasiadas" columnas al dataframe seria asi:

usando la funcion concat, crea un dataframe de varios datos a la vez(en mi caso listas), mientras que append antes de agregar el contenido crea una copia del mismo, de ahi el error de rendimiento que me mostraba(adjunto imagen al final de comparacion)

df=pd.concat([pd.DataFrame(zip(alto,largo,ancho),columns=[f'alto {i}',f'largo {i}',f'ancho {i}'])])

luego de haber modificado esas columnas a gusto y haber eliminado las que no deseaba, uso concat para aumentar el dataframe final, el que se va a usar luego de recopilar todos los datos

df_Final=pd.concat([df_Final, df],axis=1)

eso seria todo, ya el error no vuelve a aparecer y se mejora en rendimiento nuestro codigo, espero mi problema le haya sido de ayuda a alguien mas

diferencia entre append y concat

1
  • Esto no sería lo mejor, hay dos problemas, el primero es que en la primera línea de código que muestras utilizas concat pero no lo necesitas; el segundo es que si todo el tiempo vas a agregar filas al mismo dataframe lo mejor es utilizar listas o diccionarios para agregar toda la información que deseas y al final utilizar concat una sola vez. el 30 sep. 2022 a las 12:22

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.