1

Hola buenas tengo una aplicación muy sencilla en la que cargo un archivo .xlsx en un dataframe con la librería pandas y después genero un treeview para mostrarlo en modo de tabla. Con un archivo de 100 o 200 filas tarda muy poco, el problema viene cuando intento cargar un archivo con 2000 o 3000 registros que tarda alrededor de 1 minuto. Esto es normal? Hay alguna manera de optimizar esta operación? En cualquier caso me gustaría incluir una barra de progreso de la librería Tkinter ttk.Progressbar(parent, option=value, ...) como esta, para así poder mostrar al usuario cuanto tiempo queda. Es esto posible? sincronizar el tiempo de cargado con el progreso de la barra?

Gracias, saludos!!

EDITO MI PREGUNTA AÑADIENDO CODIGO

import pandas as pd
import tkinter as tk
from tkinter import ttk
def getTreeViewUser(df, frame):
tv = ttk.Treeview(frame, columns=("#1", "#2", "#3", 
"#4",'#5','#6','#7','#8','#9',
                                  "#10","#11","#12","#13","#14","#15","#16","#17","#18"))
tv.heading('#0', text="Col0")
tv.heading('#1', text="Col1")
tv.heading('#2', text="Col2")
tv.heading('#3', text="Col3")
tv.heading('#4', text="Col4")
tv.heading('#5', text="Col5")
tv.heading('#6', text="Col6")
tv.heading('#7', text="Col7")
tv.heading('#8', text="Col8")
tv.heading('#9', text="Col9")
tv.heading('#10', text="Col10")
tv.heading('#11', text="Col11")
tv.heading('#12', text="Col12")
tv.heading('#13', text="Col13")
tv.heading('#14', text="Col14")
tv.heading('#15', text="Col15")
tv.heading('#16', text="Col16")
tv.heading('#17', text="Col17")
tv.heading('#18', text="Col18")


for ind in df.index:
#        rojo = df.values[ind][17]
#        tag=""
#        if(rojo==1):
#            tag="col18"

    tv.insert("", tk.END, text=ind+1,
                    values=(df.values[ind][0],df.values[ind][1],
                            df.values[ind][2],df.values[ind][3],
                            df.values[ind][4],df.values[ind][5],
                            df.values[ind][6],df.values[ind][7],
                            df.values[ind][8],df.values[ind][9],
                            df.values[ind][10],df.values[ind][11],
                            df.values[ind][12],df.values[ind][13],
                            df.values[ind][14],df.values[ind][15],
                            df.values[ind][16],
                            df.values[ind][17]))

#    tv.tag_configure('rojo', background='#F6CECE')

scrollbar_vertical = ttk.Scrollbar(frame, orient='vertical', command = tv.yview)
scrollbar_vertical.pack(side='right', fill=tk.Y)

scrollbar_horizontal = ttk.Scrollbar(frame, orient='horizontal', command = tv.xview)
scrollbar_horizontal.pack(side='bottom', fill=tk.X)

tv.configure(yscrollcommand=scrollbar_vertical.set)
tv.configure(xscrollcommand=scrollbar_horizontal.set)


return tv

def clickbutton():
file = pd.read_excel('Ejemplo.xlsx')
df = pd.DataFrame(file)
getTreeViewUser(df, main_window).pack(expand=True, fill='both')

class Application(ttk.Frame):
def __init__(self, main_window):
    super().__init__(main_window)
    main_window.geometry("600x500")
    self.button = tk.Button(main_window, text="Button", command=clickbutton).pack()
    self.progressbar = ttk.Progressbar(main_window)
    self.progressbar.pack()

main_window = tk.Tk()
app = Application(main_window)
app.mainloop()

En este ejemplo he cambiado el texto de las celdas por temas de privacidad pero me lo carga enseguida, el problema lo tengo con el mismo numero de filas pero con distinto texto en cada una, y en algunas celdas fechas y BOOLEANOS. No se como recrear exactamente mi problema ya te digo tarda casi un minuto y el tema del progressbar seria mostrarla en esa ventana y que se sincronize con la carga del treeview. Gracias de antemano.

Archivo de ejemplo: https://drive.google.com/open?id=1B5f_4lNckGcWXahsCoIdQlScFOwyLn0R

He modificado el archivo para que simule un poco mejor mi problema llenando algunas columnas con fechas y booleanos como en el archivo original.

https://drive.google.com/open?id=147juWEAHYMp80liCFx6NHscWEakRy5iF

2
  • Ya he editado la pregunta FJSevilla. Commented el 6 sept. 2018 a las 13:29
  • Creo que el problema esta el numero de columnas. Mi archivo original tiene 18 columnas, he hecho una prueba con 5 columnas y no tarda ni 1 segundo Commented el 6 sept. 2018 a las 14:23

1 respuesta 1

2

Para crear una barra de progreso mientras se agrega cada item (fila) al Treeview hay que tener en cuenta los siguientes detalles:

  • Podemos usar el ciclo que itera sobre las filas del DataFrame para determinar el progreso y poder crear una barra de progreso determinista.

  • No obstante, el propio ciclo anterior es bloqueante, por lo que la app se congelará mientras se crea el árbol al bloquearse el mainloop y no poder responder a eventos y redibujar la ventana. Esto es un problema porque no podremos actualizar nada en la interfaz al dejar esta de responder.

  • Solo se debe interactuar con los widgets (y por tanto agregar items al TreeView) desde el hilo principal, por lo que usar hilos no es una solución.

La solución está en usar el método update_idltasks cada x iteraciones del ciclo encargado de crear las fila, lo que permite reanudar el mainloop para que procese los eventos pendientes, momento en el que aprovechamos para actualizar la barra además.

Es importante que evites al máximo cualquier operación superflua en el ciclo anterior, cuando se itera miles de veces una pequeña sobrecarga por iteración puede resultar muy significativa. La forma en la que se itera sobre el propio DataFrame en sí es clave también. Por ejemplo, evita indexar individualmente sobre cada columna:

values = [df.values[ind][0], df.values[ind][2], ..., df.values[17]] 

usa iloc y obtén todas las que necesites de una sola vez:

columns = ["A", "B", "C", ...]
values = df.iloc[ind, columns]

Dejo un ejemplo simplificado de cómo se puede implementar todo esto:

import pandas as pd
import tkinter as tk
from tkinter import ttk



class DataFrameTreeView(tk.Frame):

    def __init__(self, *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.tree_view = None
        self.hscrollbar = None
        self.vscrollbar = None

    def load_table(self, df, columns=None, columns_headers=None, chunk_size=100):
        """
        Args:
            path: cadena -> ruta al fichero .xlsx
            columns: list -> columnas a mostrar en la tabla, si es None se,muestran todas
            columns_headers: list -> Nombres para las cabeceras de las columnas,
                                     si es None se usan las cabeceras del DataFrame

            chunk_size: int -> Número de filas creadas por iteración
        """ 

        if columns is not None:
            dif = set(columns) - set(df.columns)
            if dif:
                raise ValueError(f"Columns: {tuple(dif)} are not in DataFrame") 
        else:
            columns = df.columns

        if columns_headers is not None:
            if  len(columns_headers) != len(df.columns):
                raise ValueError("headers length not mismath columns number")
        else:
            columns_headers = columns
        tk_col_names =[f"#{name}" for name in columns_headers]

        # Treeview y barras
        if self.tree_view is not None:
            self.tree_view.destroy()
            self.hscrollbar.destroy()
            self.vscrollbar.destroy()

        self.tree_view = ttk.Treeview(self, columns=tk_col_names)
        self.vscrollbar = ttk.Scrollbar(self, orient='vertical', command = self.tree_view.yview)
        self.vscrollbar.pack(side='right', fill=tk.Y)
        self.hscrollbar = ttk.Scrollbar(self, orient='horizontal', command = self.tree_view.xview)
        self.hscrollbar.pack(side='bottom', fill=tk.X)
        self.tree_view.configure(yscrollcommand=self.vscrollbar.set)
        self.tree_view.configure(xscrollcommand=self.hscrollbar.set)

        # Configuar columnas y cabeceras
        for name, header in zip(tk_col_names, columns_headers):
            self.tree_view.column(name, anchor=tk.W)
            self.tree_view.heading(name, text=header, anchor=tk.W)

        # Cargamos los items
        rows = df.shape[0]
        chunks = rows / chunk_size
        progress = 0
        step = 100 / chunks

        progress_bar = ttk.Progressbar(self, orient="horizontal",
                                        length=100, mode="determinate")
        progress_bar["value"] = progress 
        label = tk.Label(self, text="Cargando filas")
        label.place(relx=0.50, rely=0.45, anchor=tk.CENTER)
        progress_bar.place(relx=0.5, rely=0.5, relwidth=0.80,  anchor=tk.CENTER)

        for ind in df.index:
            values = [str(v) for v in df.loc[ind, columns].values]
            self.tree_view.insert("", tk.END, text=ind+1, values=values)
            if ind % chunk_size == 0:
                self.update_idletasks()
                progress += step
                progress_bar["value"] = progress 

        progress_bar["value"] = progress
        self.update_idletasks()

        progress_bar.destroy()
        label.destroy()
        self.tree_view.pack(expand=True, fill='both')
        #self.tree_view['show'] = 'headings'


class Application(ttk.Frame):
    def __init__(self, main_window):
        super().__init__(main_window)
        main_window.geometry("600x500")
        self.button = tk.Button(self, text="Cargar datos", command=self.on_button_clicked)
        self.button.pack()
        self.treeview = DataFrameTreeView(self)
        self.treeview.pack(expand=True, fill='both')


    def on_button_clicked(self):
        self.button.configure(state=tk.DISABLED)
        columns_headers = [f"Columna {n}" for n in range(1, 19)]
        dataframe = pd.read_excel("EJEMPLO.xlsx")
        self.treeview.load_table(dataframe, columns_headers=columns_headers)
        self.button.configure(state=tk.NORMAL)


if __name__ == "__main__":
    root = tk.Tk()
    app = Application(root)
    app.pack(expand=True, fill='both')
    root.mainloop()

Lo que nos muestra algo así:

introducir la descripción de la imagen aquí

En mi caso, para las 5000 filas 18 columnas tarda aproximadamente lo que se muestra en el GIF, unos 3-4 segundos.

Si la lectura de 100 filas entre actualizaciones causa congelamientos apreciables mientra la barra se muestra se puede bajar el número de filas cargadas por actualización (parámetro chunk_size del método load_table). Aunque como se comenta arriba la prioridad debe ser siempre maximizar la eficiencia del ciclo en cada iteración.

El uso de update_idletask hace que no se procesen las callabacks pendientes, por lo que el usaurio no puede interactuar de forma inmediata con la app durante la carga. Esta es la forma más segura de hacer esto, no obstante para permitir el cambio entre pestañas, maximizado, click en widgets, etc se puede usar el método update en vez de update_idletasks que procesa también las callbacks pendientes, pero se tiene que ser muy cuidadoso en este caso ya que se puede caer en ciclos anidados o incluso infinitos a causa de callback procesadas mientras se carga el treeview. La generación del Treeview no es asíncrona en ningún caso, si mientras carga (usando update) se ejecuta otra callback la carga se detendrá hasta que esa callback se procese y luego se reanuda de nuevo. Como digo, solo se puede interactuar con los widgets en el hilo principal (esto no es exclusivo de Tk, ocurre también con cualquier framework que use OpenGL) lo que impide la creación asíncrona de widgets. Esta es una de las causa de que haga hincapié en ser cuidadoso al permitir al usuario interactuar con la app mientras carga el widget.

Si hay operaciones bloqueantes con los propios datos del DataFrame que tardan en procesarse, esto si que es susceptible de ser movido a otro hilo o proceso, todo aquello que no sea interactuar con un widgets directamente lo es.

7
  • Voy a intentar adaptarlo a mi aplicación, muchísimas gracias !!! Commented el 6 sept. 2018 a las 15:41
  • FJSevilla, hay alguna manera de que no se bloquee la aplicación? Es que en ocasiones me sale el mensaje de (No responde) arriba. Sería posible cambiar de pestaña mientras se realiza la carga del treeview? Commented el 6 sept. 2018 a las 16:15
  • 1
    En cuanto a lo de "No responde", no debería pasar eso leyendo solo 100 filas cada vez a no ser que la iteración del ciclo sea muy lenta y esto es lo que tienes que optimizar al máximo como comento arriba. Si se produce mientra la barra se muestra prueba a bajar el número de filas cargadas por actualización (parámetro chunk_size de load_table) si es antes podría ser que el DataFrame tarde demasiado en cargar, aunque esto no debería pasar.
    – FJSevilla
    Commented el 6 sept. 2018 a las 16:22
  • 1
    Para permitir el cambio entre pestañas se puede usar el método update en vez de update_idletasks que procesa también las callbacks pendientes, pero tienes que ser muy cuidadoso ya que se puede caer en ciclos anidados o incluso infinitos a causa de callback procesadas mientras se carga el treeview.
    – FJSevilla
    Commented el 6 sept. 2018 a las 16:22
  • Ahora funciona a la perfeccion, ha mejorado los tiempos una barbaridad. El único problema que tengo es el tema del “No responde”. No siempre pasa, en ocasiones si no muevo el ratón o no hago clic se carga la barra perfectamente. De todas formas muchas gracias. Commented el 6 sept. 2018 a las 16:51

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.