0

Os planteo la siguiente pregunta porque creo que algo de lo que hago en este proceso se debe de poder optimizar, pero no se me ocurre de qué manera.

Para empezar, os describo la situación: Tengo una hoja de Excel, en donde puedo tener entre 1000 y 100.000 registros. Estoy construyendo un programa que permita meter esta hoja Excel en una BBDD SQLite. Cada registro (o fila) que hay en la hoja Excel tiene 20 columnas.

Lo que estoy haciendo en este momento es leer esta hoja excel línea por línea mientras tenga datos, tengo una variable local por cada dato (en total 20 variables locales), y en cada variable le meto su correspondiente dato extraído de la línea que se está procesando. Posteriormente construyo una instrucción INSERT con los datos recogidos para meterlo en la BBDD.

En código queda de esta manera. Primero el pulsado del botón con el que comienzo a cargar los datos, seleccionando el archivo que quiero cargar:

    Private Sub Btn_CargarDatos_Click(sender As Object, e As EventArgs) Handles Btn_CargarDatos.Click

    Dim openFileDialog1 As New OpenFileDialog
    Dim srlector As StreamReader
    Dim Aplicacion As New Excel.Application
    Dim ficheroSeleccionado As Excel.Workbook
    Dim hojaTabla As Excel.Worksheet
    Dim linea As String = ""
    Dim contadorRegistrosInsertados_ As Integer = 0

    Try
        openFileDialog1.InitialDirectory = "C:\"
        openFileDialog1.Filter = "xlsx files (*.xlsx)|*.xlsx|All files (*.*)|*.*"
        openFileDialog1.FilterIndex = 1
        openFileDialog1.RestoreDirectory = True

        If openFileDialog1.ShowDialog() = Windows.Forms.DialogResult.OK Then
            Try
                Lbl_ContadorRegistrosCargados.Visible = True
                fileName = openFileDialog1.SafeFileName
                filePath = openFileDialog1.FileName
                srlector = New StreamReader(filePath)
                ficheroSeleccionado = Aplicacion.Workbooks.Open(openFileDialog1.FileName)
                hojaTabla = ficheroSeleccionado.Worksheets(1)       'Poner el índice de la hoja o el nombre

                For i As Integer = 2 To hojaTabla.Rows.Count

                    Dim version_ As String = hojaTabla.Rows(i).Value2(1, 1)
                    If version_ = Nothing Then
                        Exit For
                    Else
                        version_ = version_.Replace(" ", "")
                    End If
                    mes = hojaTabla.Rows(i).Value2(1, 2).ToString
                    anioFiscal = hojaTabla.Rows(i).Value2(1, 3).ToString
                    profitCenter = hojaTabla.Rows(i).Value2(1, 4)
                    WBSElement = hojaTabla.Rows(i).Value2(1, 5)
                    accountNumber = hojaTabla.Rows(i).Value2(1, 6)
                    accountText = hojaTabla.Rows(i).Value2(1, 7)
                    activityType = hojaTabla.Rows(i).Value2(1, 8)
                    text_ = hojaTabla.Rows(i).Value2(1, 9)
                    Dim value_ As String = hojaTabla.Rows(i).Value2(1, 10)
                    If value_ = Nothing Then
                        inTransactionCurrency = ""
                    Else
                        inTransactionCurrency = value_.ToString
                    End If
                    currKeyTransCurr = hojaTabla.Rows(i).Value2(1, 11)
                    refDocument = hojaTabla.Rows(i).Value2(1, 12)
                    vendor = hojaTabla.Rows(i).Value2(1, 13)
                    purchasingDocument = hojaTabla.Rows(i).Value2(1, 14)
                    parametrizacion = hojaTabla.Rows(i).Value2(1, 15)
                    parametrizacion = parametrizacion.Replace("'", "")
                    tipoDeGasto = hojaTabla.Rows(i).Value2(1, 16)
                    division = hojaTabla.Rows(i).Value2(1, 17)
                    area = hojaTabla.Rows(i).Value2(1, 18)
                    pais = hojaTabla.Rows(i).Value2(1, 19)
                    euros = hojaTabla.Rows(i).Value2(1, 20)

                    'CheckEmptyValues()

                    Dim sql_ As String = "INSERT INTO Registros (Version, Mes, AnioFiscal, ProfitCenter, WBSElement, AccountNumber, AccountText, " & _
                        "ActivityType, Text, InTransactionCurrency, CurrKeyTransCurr, RefDocument, Vendor, PurchasingDocument, Parametrizacion, " & _
                        "TipoDeGasto, Division, Area, Pais, Euros, CreationDate, Enabled) SELECT '" & version_ & "', '" & mes & "', '" & anioFiscal _
                         & "', '" & profitCenter & "', '" & WBSElement & "', '" & accountNumber & "', '" & accountText & "', '" & activityType & "', '" & _
                         Replace(text_, "'", "") & "', '" & Replace(inTransactionCurrency, ",", ".") & "', '" & currKeyTransCurr & "', '" & refDocument & "', '" & vendor & "', '" & purchasingDocument _
                          & "', '" & parametrizacion & "', '" & tipoDeGasto & "', '" & division & "', '" & area & "', '" & pais & "', '" & Replace(Math.Round(euros, 2), ",", ".") & "', '" & _
                          System.DateTime.Now & "', '" & True & "'"
                    obdd.operaciones(sql_)

                    contadorRegistrosInsertados_ += 1
                    Lbl_ContadorRegistrosCargados.Text = "Cargando registros: " & contadorRegistrosInsertados_

                Next

                srlector.Close()
                ficheroSeleccionado.Close()

                MessageBox.Show("Registros cargados correctamente")

            Catch ex As Exception
                Dim notificacionPopup_ As String = "Hubo un problema al abrir el archivo. Contacte con el administrador. Código de error: "
                MessageBox.Show(notificacionPopup_ & ex.Message)
                Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
                                          & notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', " & System.DateTime.Now & "'"
                obdd.operaciones(sqlError_)
            End Try
        End If

    Catch ex As Exception
        Dim notificacionPopup_ As String = "Hubo un problema al cargar el archivo. Contacte con el administrador. Código de error: "
        MessageBox.Show(notificacionPopup_ & ex.Message)
        Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
                                  & notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', " & System.DateTime.Now & "'"
        obdd.operaciones(sqlError_)
    End Try

    Aplicacion.Quit()
    Lbl_ContadorRegistrosCargados.Visible = False
    Lbl_ContadorRegistrosCargados.Text = "Cargando registros: "

End Sub

La función que me permite ejecutar la orden en la BBDD es

obdd.operaciones(sql_)

Y su código es el siguiente:

Public Sub operaciones(ByVal Sql As String)

    con = New SQLiteConnection(conPath)
    con.Open()
    ':::Instruccion Try para capturar errores
    Try
        ':::Creamos nuestro objeto de tipo Command que almacenara nuestras instrucciones
        ':::Necesita 2 parametros (Instruccion, conexion)
        Dim cmd As New SQLiteCommand(Sql, con)
        ':::Ejecutamos la instruccion mediante la propiedad ExecuteNonQuery del command
        cmd.ExecuteNonQuery()
    Catch ex As Exception
        MsgBox(Notifications.ConnectionNoSuccessful & ": " & ex.Message, MsgBoxStyle.Critical, "CRUD")
    End Try
    ':::Cerramos la conexion
    con.Close()
End Sub

Todo este proceso de recogida de datos en las variables, la construcción de la query y la ejecución de la orden en la BBDD me viene a tardar como medio segundo en ejecutar por iteración del bucle for.

Estoy utilizando la librería Microsoft.Office.Interop para trabajar con las hojas excel y la librería System.Data.SQLite para la parte de BBDD. He visto que mucha gente usa OLEDB y otras librerías para trabajar con BBDD, al igual que he visto que en algunas ocasiones también utilizan otra librería para trabajar con las hojas Excel en lugar de la que uso yo, pero tengo la obligación de mantener estas dos librerías que estoy usando..

Creéis que hay una manera más óptima que mi método para que no tarde medio segundo por iteración? Me parece una burrada de tiempo teniendo en cuenta que puedo llegar a tener Excels de 100.000 líneas.

Muchas gracias por cualquier consejo que podáis darme. Si hace falta alguna aclaración o código que pueda ser útil y se me haya pasado ponerlo decídmelo y lo pongo.

Saludos!

EDITADO

Tras entender cómo funcionan las transacciones, he conseguido mejorar en buena medida el tiempo que me lleva insertar en base de datos mis registros, pero creo que aún se puede mejorar más, me sigue pareciendo un poco lento. Muestro el nuevo código: Función de carga de datos:

    Private Sub Btn_CargarDatos_Click(sender As Object, e As EventArgs) Handles Btn_CargarDatos.Click

    Dim openFileDialog1 As New OpenFileDialog
    Dim srlector As StreamReader
    Dim Aplicacion As New Excel.Application
    Dim ficheroSeleccionado As Excel.Workbook
    Dim hojaTabla As Excel.Worksheet
    Dim linea As String = ""
    Dim contadorRegistrosInsertados_ As Integer = 0
    Dim queryList_ As New List(Of String)

    Try
        openFileDialog1.InitialDirectory = "C:\"
        openFileDialog1.Filter = "xlsx files (*.xlsx)|*.xlsx|All files (*.*)|*.*"
        openFileDialog1.FilterIndex = 1
        openFileDialog1.RestoreDirectory = True

        If openFileDialog1.ShowDialog() = Windows.Forms.DialogResult.OK Then
            Try
                Lbl_ContadorRegistrosCargados.Visible = True
                fileName = openFileDialog1.SafeFileName
                filePath = openFileDialog1.FileName
                srlector = New StreamReader(filePath)
                ficheroSeleccionado = Aplicacion.Workbooks.Open(openFileDialog1.FileName)
                hojaTabla = ficheroSeleccionado.Worksheets(1)       'Poner el índice de la hoja o el nombre

                'obdd.openConnection()
                For i As Integer = 2 To hojaTabla.Rows.Count

                    Dim version_ As String = hojaTabla.Rows(i).Value2(1, 1)
                    If version_ = Nothing Then
                        Exit For
                    Else
                        version_ = version_.Replace(" ", "")
                    End If
                    mes = hojaTabla.Rows(i).Value2(1, 2).ToString
                    anioFiscal = hojaTabla.Rows(i).Value2(1, 3).ToString
                    profitCenter = hojaTabla.Rows(i).Value2(1, 4)
                    WBSElement = hojaTabla.Rows(i).Value2(1, 5)
                    accountNumber = hojaTabla.Rows(i).Value2(1, 6)
                    accountText = hojaTabla.Rows(i).Value2(1, 7)
                    activityType = hojaTabla.Rows(i).Value2(1, 8)
                    text_ = hojaTabla.Rows(i).Value2(1, 9)
                    Dim value_ As String = hojaTabla.Rows(i).Value2(1, 10)
                    If value_ = Nothing Then
                        inTransactionCurrency = ""
                    Else
                        inTransactionCurrency = value_.ToString
                    End If
                    currKeyTransCurr = hojaTabla.Rows(i).Value2(1, 11)
                    refDocument = hojaTabla.Rows(i).Value2(1, 12)
                    vendor = hojaTabla.Rows(i).Value2(1, 13)
                    purchasingDocument = hojaTabla.Rows(i).Value2(1, 14)
                    parametrizacion = hojaTabla.Rows(i).Value2(1, 15)
                    parametrizacion = parametrizacion.Replace("'", "")
                    tipoDeGasto = hojaTabla.Rows(i).Value2(1, 16)
                    division = hojaTabla.Rows(i).Value2(1, 17)
                    area = hojaTabla.Rows(i).Value2(1, 18)
                    pais = hojaTabla.Rows(i).Value2(1, 19)
                    euros = hojaTabla.Rows(i).Value2(1, 20)

                    'CheckEmptyValues()

                    Dim sql_ As String = "INSERT INTO Registros (Version, Mes, AnioFiscal, ProfitCenter, WBSElement, AccountNumber, AccountText, " & _
                        "ActivityType, Text, InTransactionCurrency, CurrKeyTransCurr, RefDocument, Vendor, PurchasingDocument, Parametrizacion, " & _
                        "TipoDeGasto, Division, Area, Pais, Euros, CreationDate, Enabled) SELECT '" & version_ & "', '" & mes & "', '" & anioFiscal _
                         & "', '" & profitCenter & "', '" & WBSElement & "', '" & accountNumber & "', '" & accountText & "', '" & activityType & "', '" & _
                         Replace(text_, "'", "") & "', '" & Replace(inTransactionCurrency, ",", ".") & "', '" & currKeyTransCurr & "', '" & refDocument & "', '" & vendor & "', '" & purchasingDocument _
                          & "', '" & parametrizacion & "', '" & tipoDeGasto & "', '" & division & "', '" & area & "', '" & pais & "', '" & Replace(Math.Round(euros, 2), ",", ".") & "', '" & _
                          System.DateTime.Now & "', '" & True & "'"
                    queryList_.Add(sql_)

                    'obdd.operacionesNoCloseDB(sql_)

                    contadorRegistrosInsertados_ += 1
                    Lbl_ContadorRegistrosCargados.Text = "Cargando registros: " & contadorRegistrosInsertados_
                Next
                obdd.insertSetUsingTransaction(queryList_)
                'obdd.closeConnection()
                srlector.Close()
                ficheroSeleccionado.Close()

                MessageBox.Show("Registros cargados correctamente")

            Catch ex As Exception
                Dim notificacionPopup_ As String = "Hubo un problema al abrir el archivo. Contacte con el administrador. Código de error: "
                MessageBox.Show(notificacionPopup_ & ex.Message)
                Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
                                          & notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', '" & System.DateTime.Now & "'"
                obdd.operaciones(sqlError_)
            End Try
        End If

    Catch ex As Exception
        Dim notificacionPopup_ As String = "Hubo un problema al cargar el archivo. Contacte con el administrador. Código de error: "
        MessageBox.Show(notificacionPopup_ & ex.Message)
        Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
                                  & notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', '" & System.DateTime.Now & "'"
        obdd.operaciones(sqlError_)
    End Try

    Aplicacion.Quit()
    Lbl_ContadorRegistrosCargados.Visible = False
    Lbl_ContadorRegistrosCargados.Text = "Cargando registros: "

End Sub

Meto todas las querys en una lista de strings y luego las ejecuto con una transacción todas a la vez. En la siguiente instrucción es donde lo hago:

obdd.insertSetUsingTransaction(queryList_)

Y la función insertSetUsingTransaction hace lo siguiente:

    Public Sub insertSetUsingTransaction(ByVal queryList_ As List(Of String))

    Dim transaction_ As SQLiteTransaction
    con = New SQLiteConnection(conPath)
    Dim cmd_ As New SQLiteCommand(con)

    Try

        Using con

            con.Open()

            transaction_ = con.BeginTransaction

            Using transaction_

                Using cmd_

                    cmd_.Transaction = transaction_
                    For Each line In queryList_
                        cmd_.CommandText = line
                        cmd_.ExecuteNonQuery()
                    Next

                End Using

                transaction_.Commit()

            End Using

            con.Close()

        End Using

    Catch ex As SQLiteException

        Console.WriteLine("Error: {0}", ex.ToString())

        If transaction_ IsNot Nothing Then
            Try
                transaction_.Rollback()
            Catch ex2 As SQLiteException
                Console.WriteLine("Transaction rollback failed.")
                Console.WriteLine("Error: {0}", ex2.ToString())
            Finally
                transaction_.Dispose()
            End Try
        End If
    Finally

    End Try
End Sub

Creéis que existe alguna forma de optimizar aún más el tiempo? Estoy seguro de que alguna manera debe haber pero no consigo dar con ello..

Mil gracias!

7
  • 1
    Un par de sugerencias. Por un lado, nunca utilices concatenación de cadenas para construir tus queries. Siempre deben utilizarse consultas parametrizadas. Por otro...estas llamando a la base de datos una vez por cada registro. Es normal que tarde una eternidad. Te recomiendo que uses transacciones, y por otro lado lo mejor es ir insertando los datos en un DataTable y posteriormente usar un dataadapter para actualizar los datos en la base de datos.
    – Pikoh
    Commented el 30 ene. 2019 a las 10:44
  • Este label Lbl_ContadorRegistrosCargados.Text nunca cambia hasta el final no? como bien dice @Pikoh investiga sobre como parametrizar consultas, como solo pasarle nuevos parametros, y no abras y cierres la db por cada insercion.
    – gbianchi
    Commented el 30 ene. 2019 a las 13:34
  • @gbianchi, muchas gracias por vuestras respuestas. Voy por partes: el label Lbl_ContadorRegistrosCargados es un label que muestra el número de registros que se han metido correctamente en la base de datos. Lo que se ve en la ejecución es un contador que va aumentando hasta que se cargan todos. Es para tener una referencia de cuántos registros se han cargado y que el usuario vea que la aplicación está haciendo algo. En cuanto a la parametrización, debo decir que con sql estoy un poco verde, así que más allá de hacer el clásico CRUD, algunas cosas se me escapan un poco... Commented el 30 ene. 2019 a las 18:02
  • parametrizacion no es de base de datos. Son de los objetos de la libreria ;). Creas un query, sin datos, y despues le agregas una clase parametros con los datos... y asi cada vez, solo agregas parametros. Y seguro que ese label no cambia hasta el final de la ejecucion, porque el thread esta detenido porr la ejecucion (salvo que estes en otro thread, y no lo hayas contado)
    – gbianchi
    Commented el 30 ene. 2019 a las 18:06
  • @Pikoh, muchas gracias a tí también! Os contesto a los dos en cuanto a la parametrización, transacciones y a lo de abrir y cerrar la conexión tras cada registro.He investigado sobre la parametrización y parece que lo que hace es meter los valores a la query por parámetro, pero seguiré teniendo que construir una query por registro, ¿verdad? Vamos, que estaría en las mismas (si no he entendido mal) De las transacciones, veo ejemplos donde se instancia una transacción, se construye la query y se ejecuta la transacción, pero sigo viendo que es una query por registro ¿me equivoco? Commented el 30 ene. 2019 a las 18:07

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.