Skip to main content
1 de 3

Optimizar velocidad de inserción de datos en una BBDD SQLite leyendo filas de hoja excel

Os planteo la siguiente pregunta porque creo que algo de lo que hago en este proceso se debe de poder optimizar, pero no se me ocurre de qué manera.

Para empezar, os describo la situación: Tengo una hoja de Excel, en donde puedo tener entre 1000 y 100.000 registros. Estoy construyendo un programa que permita meter esta hoja Excel en una BBDD SQLite. Cada registro (o fila) que hay en la hoja Excel tiene 20 columnas.

Lo que estoy haciendo en este momento es leer esta hoja excel línea por línea mientras tenga datos, tengo una variable local por cada dato (en total 20 variables locales), y en cada variable le meto su correspondiente dato extraído de la línea que se está procesando. Posteriormente construyo una instrucción INSERT con los datos recogidos para meterlo en la BBDD.

En código queda de esta manera. Primero el pulsado del botón con el que comienzo a cargar los datos, seleccionando el archivo que quiero cargar:

    Private Sub Btn_CargarDatos_Click(sender As Object, e As EventArgs) Handles Btn_CargarDatos.Click

    Dim openFileDialog1 As New OpenFileDialog
    Dim srlector As StreamReader
    Dim Aplicacion As New Excel.Application
    Dim ficheroSeleccionado As Excel.Workbook
    Dim hojaTabla As Excel.Worksheet
    Dim linea As String = ""
    Dim contadorRegistrosInsertados_ As Integer = 0

    Try
        openFileDialog1.InitialDirectory = "C:\"
        openFileDialog1.Filter = "xlsx files (*.xlsx)|*.xlsx|All files (*.*)|*.*"
        openFileDialog1.FilterIndex = 1
        openFileDialog1.RestoreDirectory = True

        If openFileDialog1.ShowDialog() = Windows.Forms.DialogResult.OK Then
            Try
                Lbl_ContadorRegistrosCargados.Visible = True
                fileName = openFileDialog1.SafeFileName
                filePath = openFileDialog1.FileName
                srlector = New StreamReader(filePath)
                ficheroSeleccionado = Aplicacion.Workbooks.Open(openFileDialog1.FileName)
                hojaTabla = ficheroSeleccionado.Worksheets(1)       'Poner el índice de la hoja o el nombre

                For i As Integer = 2 To hojaTabla.Rows.Count

                    Dim version_ As String = hojaTabla.Rows(i).Value2(1, 1)
                    If version_ = Nothing Then
                        Exit For
                    Else
                        version_ = version_.Replace(" ", "")
                    End If
                    mes = hojaTabla.Rows(i).Value2(1, 2).ToString
                    anioFiscal = hojaTabla.Rows(i).Value2(1, 3).ToString
                    profitCenter = hojaTabla.Rows(i).Value2(1, 4)
                    WBSElement = hojaTabla.Rows(i).Value2(1, 5)
                    accountNumber = hojaTabla.Rows(i).Value2(1, 6)
                    accountText = hojaTabla.Rows(i).Value2(1, 7)
                    activityType = hojaTabla.Rows(i).Value2(1, 8)
                    text_ = hojaTabla.Rows(i).Value2(1, 9)
                    Dim value_ As String = hojaTabla.Rows(i).Value2(1, 10)
                    If value_ = Nothing Then
                        inTransactionCurrency = ""
                    Else
                        inTransactionCurrency = value_.ToString
                    End If
                    currKeyTransCurr = hojaTabla.Rows(i).Value2(1, 11)
                    refDocument = hojaTabla.Rows(i).Value2(1, 12)
                    vendor = hojaTabla.Rows(i).Value2(1, 13)
                    purchasingDocument = hojaTabla.Rows(i).Value2(1, 14)
                    parametrizacion = hojaTabla.Rows(i).Value2(1, 15)
                    parametrizacion = parametrizacion.Replace("'", "")
                    tipoDeGasto = hojaTabla.Rows(i).Value2(1, 16)
                    division = hojaTabla.Rows(i).Value2(1, 17)
                    area = hojaTabla.Rows(i).Value2(1, 18)
                    pais = hojaTabla.Rows(i).Value2(1, 19)
                    euros = hojaTabla.Rows(i).Value2(1, 20)

                    'CheckEmptyValues()

                    Dim sql_ As String = "INSERT INTO Registros (Version, Mes, AnioFiscal, ProfitCenter, WBSElement, AccountNumber, AccountText, " & _
                        "ActivityType, Text, InTransactionCurrency, CurrKeyTransCurr, RefDocument, Vendor, PurchasingDocument, Parametrizacion, " & _
                        "TipoDeGasto, Division, Area, Pais, Euros, CreationDate, Enabled) SELECT '" & version_ & "', '" & mes & "', '" & anioFiscal _
                         & "', '" & profitCenter & "', '" & WBSElement & "', '" & accountNumber & "', '" & accountText & "', '" & activityType & "', '" & _
                         Replace(text_, "'", "") & "', '" & Replace(inTransactionCurrency, ",", ".") & "', '" & currKeyTransCurr & "', '" & refDocument & "', '" & vendor & "', '" & purchasingDocument _
                          & "', '" & parametrizacion & "', '" & tipoDeGasto & "', '" & division & "', '" & area & "', '" & pais & "', '" & Replace(Math.Round(euros, 2), ",", ".") & "', '" & _
                          System.DateTime.Now & "', '" & True & "'"
                    obdd.operaciones(sql_)

                    contadorRegistrosInsertados_ += 1
                    Lbl_ContadorRegistrosCargados.Text = "Cargando registros: " & contadorRegistrosInsertados_

                Next

                srlector.Close()
                ficheroSeleccionado.Close()

                MessageBox.Show("Registros cargados correctamente")

            Catch ex As Exception
                Dim notificacionPopup_ As String = "Hubo un problema al abrir el archivo. Contacte con el administrador. Código de error: "
                MessageBox.Show(notificacionPopup_ & ex.Message)
                Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
                                          & notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', " & System.DateTime.Now & "'"
                obdd.operaciones(sqlError_)
            End Try
        End If

    Catch ex As Exception
        Dim notificacionPopup_ As String = "Hubo un problema al cargar el archivo. Contacte con el administrador. Código de error: "
        MessageBox.Show(notificacionPopup_ & ex.Message)
        Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
                                  & notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', " & System.DateTime.Now & "'"
        obdd.operaciones(sqlError_)
    End Try

    Aplicacion.Quit()
    Lbl_ContadorRegistrosCargados.Visible = False
    Lbl_ContadorRegistrosCargados.Text = "Cargando registros: "

End Sub

La función que me permite ejecutar la orden en la BBDD es

obdd.operaciones(sql_)

Y su código es el siguiente:

Public Sub operaciones(ByVal Sql As String)

    con = New SQLiteConnection(conPath)
    con.Open()
    ':::Instruccion Try para capturar errores
    Try
        ':::Creamos nuestro objeto de tipo Command que almacenara nuestras instrucciones
        ':::Necesita 2 parametros (Instruccion, conexion)
        Dim cmd As New SQLiteCommand(Sql, con)
        ':::Ejecutamos la instruccion mediante la propiedad ExecuteNonQuery del command
        cmd.ExecuteNonQuery()
    Catch ex As Exception
        MsgBox(Notifications.ConnectionNoSuccessful & ": " & ex.Message, MsgBoxStyle.Critical, "CRUD")
    End Try
    ':::Cerramos la conexion
    con.Close()
End Sub

Todo este proceso de recogida de datos en las variables, la construcción de la query y la ejecución de la orden en la BBDD me viene a tardar como medio segundo en ejecutar por iteración del bucle for.

Estoy utilizando la librería Microsoft.Office.Interop para trabajar con las hojas excel y la librería System.Data.SQLite para la parte de BBDD. He viso que mucha gente usa OLEDB y otras librerías para trabajar con BBDD, al igual que he visto que en algunas ocasiones también utilizan otra librería para trabajar con las hojas Excel en lugar de la que uso yo, pero tengo la obligación de mantener estas dos librerías que estoy usando..

Creéis que hay una manera más óptima que mi método para que no tarde medio segundo por iteración? Me parece una burrada de tiempo teniendo en cuenta que puedo llegar a tener Excels de 100.000 líneas.

Muchas gracias por cualquier consejo que podáis darme. Si hace falta alguna aclaración o código que pueda ser útil y se me haya pasado ponerlo decídmelo y lo pongo.

Saludos!