EDITADO
Tras entender cómo funcionan las transacciones, he conseguido mejorar en buena medida el tiempo que me lleva insertar en base de datos mis registros, pero creo que aún se puede mejorar más, me sigue pareciendo un poco lento. Muestro el nuevo código: Función de carga de datos:
Private Sub Btn_CargarDatos_Click(sender As Object, e As EventArgs) Handles Btn_CargarDatos.Click
Dim openFileDialog1 As New OpenFileDialog
Dim srlector As StreamReader
Dim Aplicacion As New Excel.Application
Dim ficheroSeleccionado As Excel.Workbook
Dim hojaTabla As Excel.Worksheet
Dim linea As String = ""
Dim contadorRegistrosInsertados_ As Integer = 0
Dim queryList_ As New List(Of String)
Try
openFileDialog1.InitialDirectory = "C:\"
openFileDialog1.Filter = "xlsx files (*.xlsx)|*.xlsx|All files (*.*)|*.*"
openFileDialog1.FilterIndex = 1
openFileDialog1.RestoreDirectory = True
If openFileDialog1.ShowDialog() = Windows.Forms.DialogResult.OK Then
Try
Lbl_ContadorRegistrosCargados.Visible = True
fileName = openFileDialog1.SafeFileName
filePath = openFileDialog1.FileName
srlector = New StreamReader(filePath)
ficheroSeleccionado = Aplicacion.Workbooks.Open(openFileDialog1.FileName)
hojaTabla = ficheroSeleccionado.Worksheets(1) 'Poner el índice de la hoja o el nombre
'obdd.openConnection()
For i As Integer = 2 To hojaTabla.Rows.Count
Dim version_ As String = hojaTabla.Rows(i).Value2(1, 1)
If version_ = Nothing Then
Exit For
Else
version_ = version_.Replace(" ", "")
End If
mes = hojaTabla.Rows(i).Value2(1, 2).ToString
anioFiscal = hojaTabla.Rows(i).Value2(1, 3).ToString
profitCenter = hojaTabla.Rows(i).Value2(1, 4)
WBSElement = hojaTabla.Rows(i).Value2(1, 5)
accountNumber = hojaTabla.Rows(i).Value2(1, 6)
accountText = hojaTabla.Rows(i).Value2(1, 7)
activityType = hojaTabla.Rows(i).Value2(1, 8)
text_ = hojaTabla.Rows(i).Value2(1, 9)
Dim value_ As String = hojaTabla.Rows(i).Value2(1, 10)
If value_ = Nothing Then
inTransactionCurrency = ""
Else
inTransactionCurrency = value_.ToString
End If
currKeyTransCurr = hojaTabla.Rows(i).Value2(1, 11)
refDocument = hojaTabla.Rows(i).Value2(1, 12)
vendor = hojaTabla.Rows(i).Value2(1, 13)
purchasingDocument = hojaTabla.Rows(i).Value2(1, 14)
parametrizacion = hojaTabla.Rows(i).Value2(1, 15)
parametrizacion = parametrizacion.Replace("'", "")
tipoDeGasto = hojaTabla.Rows(i).Value2(1, 16)
division = hojaTabla.Rows(i).Value2(1, 17)
area = hojaTabla.Rows(i).Value2(1, 18)
pais = hojaTabla.Rows(i).Value2(1, 19)
euros = hojaTabla.Rows(i).Value2(1, 20)
'CheckEmptyValues()
Dim sql_ As String = "INSERT INTO Registros (Version, Mes, AnioFiscal, ProfitCenter, WBSElement, AccountNumber, AccountText, " & _
"ActivityType, Text, InTransactionCurrency, CurrKeyTransCurr, RefDocument, Vendor, PurchasingDocument, Parametrizacion, " & _
"TipoDeGasto, Division, Area, Pais, Euros, CreationDate, Enabled) SELECT '" & version_ & "', '" & mes & "', '" & anioFiscal _
& "', '" & profitCenter & "', '" & WBSElement & "', '" & accountNumber & "', '" & accountText & "', '" & activityType & "', '" & _
Replace(text_, "'", "") & "', '" & Replace(inTransactionCurrency, ",", ".") & "', '" & currKeyTransCurr & "', '" & refDocument & "', '" & vendor & "', '" & purchasingDocument _
& "', '" & parametrizacion & "', '" & tipoDeGasto & "', '" & division & "', '" & area & "', '" & pais & "', '" & Replace(Math.Round(euros, 2), ",", ".") & "', '" & _
System.DateTime.Now & "', '" & True & "'"
queryList_.Add(sql_)
'obdd.operacionesNoCloseDB(sql_)
contadorRegistrosInsertados_ += 1
Lbl_ContadorRegistrosCargados.Text = "Cargando registros: " & contadorRegistrosInsertados_
Next
obdd.insertSetUsingTransaction(queryList_)
'obdd.closeConnection()
srlector.Close()
ficheroSeleccionado.Close()
MessageBox.Show("Registros cargados correctamente")
Catch ex As Exception
Dim notificacionPopup_ As String = "Hubo un problema al abrir el archivo. Contacte con el administrador. Código de error: "
MessageBox.Show(notificacionPopup_ & ex.Message)
Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
& notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', '" & System.DateTime.Now & "'"
obdd.operaciones(sqlError_)
End Try
End If
Catch ex As Exception
Dim notificacionPopup_ As String = "Hubo un problema al cargar el archivo. Contacte con el administrador. Código de error: "
MessageBox.Show(notificacionPopup_ & ex.Message)
Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
& notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', '" & System.DateTime.Now & "'"
obdd.operaciones(sqlError_)
End Try
Aplicacion.Quit()
Lbl_ContadorRegistrosCargados.Visible = False
Lbl_ContadorRegistrosCargados.Text = "Cargando registros: "
End Sub
Meto todas las querys en una lista de strings y luego las ejecuto con una transacción todas a la vez. En la siguiente instrucción es donde lo hago:
obdd.insertSetUsingTransaction(queryList_)
Y la función insertSetUsingTransaction
hace lo siguiente:
Public Sub insertSetUsingTransaction(ByVal queryList_ As List(Of String))
Dim transaction_ As SQLiteTransaction
con = New SQLiteConnection(conPath)
Dim cmd_ As New SQLiteCommand(con)
Try
Using con
con.Open()
transaction_ = con.BeginTransaction
Using transaction_
Using cmd_
cmd_.Transaction = transaction_
For Each line In queryList_
cmd_.CommandText = line
cmd_.ExecuteNonQuery()
Next
End Using
transaction_.Commit()
End Using
con.Close()
End Using
Catch ex As SQLiteException
Console.WriteLine("Error: {0}", ex.ToString())
If transaction_ IsNot Nothing Then
Try
transaction_.Rollback()
Catch ex2 As SQLiteException
Console.WriteLine("Transaction rollback failed.")
Console.WriteLine("Error: {0}", ex2.ToString())
Finally
transaction_.Dispose()
End Try
End If
Finally
End Try
End Sub
Creéis que existe alguna forma de optimizar aún más el tiempo? Estoy seguro de que alguna manera debe haber pero no consigo dar con ello..
Mil gracias!