Os planteo la siguiente pregunta porque creo que algo de lo que hago en este proceso se debe de poder optimizar, pero no se me ocurre de qué manera.

Para empezar, os describo la situación: Tengo una hoja de Excel, en donde puedo tener entre 1000 y 100.000 registros. Estoy construyendo un programa que permita meter esta hoja Excel en una BBDD SQLite. Cada registro (o fila) que hay en la hoja Excel tiene 20 columnas.

Lo que estoy haciendo en este momento es leer esta hoja excel línea por línea mientras tenga datos, tengo una variable local por cada dato (en total 20 variables locales), y en cada variable le meto su correspondiente dato extraído de la línea que se está procesando. Posteriormente construyo una instrucción INSERT con los datos recogidos para meterlo en la BBDD.

En código queda de esta manera. Primero el pulsado del botón con el que comienzo a cargar los datos, seleccionando el archivo que quiero cargar:

        Private Sub Btn_CargarDatos_Click(sender As Object, e As EventArgs) Handles Btn_CargarDatos.Click

        Dim openFileDialog1 As New OpenFileDialog
        Dim srlector As StreamReader
        Dim Aplicacion As New Excel.Application
        Dim ficheroSeleccionado As Excel.Workbook
        Dim hojaTabla As Excel.Worksheet
        Dim linea As String = ""
        Dim contadorRegistrosInsertados_ As Integer = 0

        Try
            openFileDialog1.InitialDirectory = "C:\"
            openFileDialog1.Filter = "xlsx files (*.xlsx)|*.xlsx|All files (*.*)|*.*"
            openFileDialog1.FilterIndex = 1
            openFileDialog1.RestoreDirectory = True

            If openFileDialog1.ShowDialog() = Windows.Forms.DialogResult.OK Then
                Try
                    Lbl_ContadorRegistrosCargados.Visible = True
                    fileName = openFileDialog1.SafeFileName
                    filePath = openFileDialog1.FileName
                    srlector = New StreamReader(filePath)
                    ficheroSeleccionado = Aplicacion.Workbooks.Open(openFileDialog1.FileName)
                    hojaTabla = ficheroSeleccionado.Worksheets(1)       'Poner el índice de la hoja o el nombre

                    For i As Integer = 2 To hojaTabla.Rows.Count

                        Dim version_ As String = hojaTabla.Rows(i).Value2(1, 1)
                        If version_ = Nothing Then
                            Exit For
                        Else
                            version_ = version_.Replace(" ", "")
                        End If
                        mes = hojaTabla.Rows(i).Value2(1, 2).ToString
                        anioFiscal = hojaTabla.Rows(i).Value2(1, 3).ToString
                        profitCenter = hojaTabla.Rows(i).Value2(1, 4)
                        WBSElement = hojaTabla.Rows(i).Value2(1, 5)
                        accountNumber = hojaTabla.Rows(i).Value2(1, 6)
                        accountText = hojaTabla.Rows(i).Value2(1, 7)
                        activityType = hojaTabla.Rows(i).Value2(1, 8)
                        text_ = hojaTabla.Rows(i).Value2(1, 9)
                        Dim value_ As String = hojaTabla.Rows(i).Value2(1, 10)
                        If value_ = Nothing Then
                            inTransactionCurrency = ""
                        Else
                            inTransactionCurrency = value_.ToString
                        End If
                        currKeyTransCurr = hojaTabla.Rows(i).Value2(1, 11)
                        refDocument = hojaTabla.Rows(i).Value2(1, 12)
                        vendor = hojaTabla.Rows(i).Value2(1, 13)
                        purchasingDocument = hojaTabla.Rows(i).Value2(1, 14)
                        parametrizacion = hojaTabla.Rows(i).Value2(1, 15)
                        parametrizacion = parametrizacion.Replace("'", "")
                        tipoDeGasto = hojaTabla.Rows(i).Value2(1, 16)
                        division = hojaTabla.Rows(i).Value2(1, 17)
                        area = hojaTabla.Rows(i).Value2(1, 18)
                        pais = hojaTabla.Rows(i).Value2(1, 19)
                        euros = hojaTabla.Rows(i).Value2(1, 20)

                        'CheckEmptyValues()

                        Dim sql_ As String = "INSERT INTO Registros (Version, Mes, AnioFiscal, ProfitCenter, WBSElement, AccountNumber, AccountText, " & _
                            "ActivityType, Text, InTransactionCurrency, CurrKeyTransCurr, RefDocument, Vendor, PurchasingDocument, Parametrizacion, " & _
                            "TipoDeGasto, Division, Area, Pais, Euros, CreationDate, Enabled) SELECT '" & version_ & "', '" & mes & "', '" & anioFiscal _
                             & "', '" & profitCenter & "', '" & WBSElement & "', '" & accountNumber & "', '" & accountText & "', '" & activityType & "', '" & _
                             Replace(text_, "'", "") & "', '" & Replace(inTransactionCurrency, ",", ".") & "', '" & currKeyTransCurr & "', '" & refDocument & "', '" & vendor & "', '" & purchasingDocument _
                              & "', '" & parametrizacion & "', '" & tipoDeGasto & "', '" & division & "', '" & area & "', '" & pais & "', '" & Replace(Math.Round(euros, 2), ",", ".") & "', '" & _
                              System.DateTime.Now & "', '" & True & "'"
                        obdd.operaciones(sql_)

                        contadorRegistrosInsertados_ += 1
                        Lbl_ContadorRegistrosCargados.Text = "Cargando registros: " & contadorRegistrosInsertados_

                    Next

                    srlector.Close()
                    ficheroSeleccionado.Close()

                    MessageBox.Show("Registros cargados correctamente")

                Catch ex As Exception
                    Dim notificacionPopup_ As String = "Hubo un problema al abrir el archivo. Contacte con el administrador. Código de error: "
                    MessageBox.Show(notificacionPopup_ & ex.Message)
                    Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
                                              & notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', " & System.DateTime.Now & "'"
                    obdd.operaciones(sqlError_)
                End Try
            End If

        Catch ex As Exception
            Dim notificacionPopup_ As String = "Hubo un problema al cargar el archivo. Contacte con el administrador. Código de error: "
            MessageBox.Show(notificacionPopup_ & ex.Message)
            Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
                                      & notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', " & System.DateTime.Now & "'"
            obdd.operaciones(sqlError_)
        End Try

        Aplicacion.Quit()
        Lbl_ContadorRegistrosCargados.Visible = False
        Lbl_ContadorRegistrosCargados.Text = "Cargando registros: "

    End Sub

La función que me permite ejecutar la orden en la BBDD es

    obdd.operaciones(sql_)

Y su código es el siguiente:

    Public Sub operaciones(ByVal Sql As String)

        con = New SQLiteConnection(conPath)
        con.Open()
        ':::Instruccion Try para capturar errores
        Try
            ':::Creamos nuestro objeto de tipo Command que almacenara nuestras instrucciones
            ':::Necesita 2 parametros (Instruccion, conexion)
            Dim cmd As New SQLiteCommand(Sql, con)
            ':::Ejecutamos la instruccion mediante la propiedad ExecuteNonQuery del command
            cmd.ExecuteNonQuery()
        Catch ex As Exception
            MsgBox(Notifications.ConnectionNoSuccessful & ": " & ex.Message, MsgBoxStyle.Critical, "CRUD")
        End Try
        ':::Cerramos la conexion
        con.Close()
    End Sub

Todo este proceso de recogida de datos en las variables, la construcción de la query y la ejecución de la orden en la BBDD me viene a tardar como medio segundo en ejecutar por iteración del bucle for.

Estoy utilizando la librería `Microsoft.Office.Interop` para trabajar con las hojas excel y la librería `System.Data.SQLite` para la parte de BBDD. He viso que mucha gente usa OLEDB y otras librerías para trabajar con BBDD, al igual que he visto que en algunas ocasiones también utilizan otra librería para trabajar con las hojas Excel en lugar de la que uso yo, pero tengo la obligación de mantener estas dos librerías que estoy usando..

Creéis que hay una manera más óptima que mi método para que no tarde medio segundo por iteración? Me parece una burrada de tiempo teniendo en cuenta que puedo llegar a tener Excels de 100.000 líneas.

Muchas gracias por cualquier consejo que podáis darme. Si hace falta alguna aclaración o código que pueda ser útil y se me haya pasado ponerlo decídmelo y lo pongo.

Saludos!