Os planteo la siguiente pregunta porque creo que algo de lo que hago en este proceso se debe de poder optimizar, pero no se me ocurre de qué manera.
Para empezar, os describo la situación: Tengo una hoja de Excel, en donde puedo tener entre 1000 y 100.000 registros. Estoy construyendo un programa que permita meter esta hoja Excel en una BBDD SQLite. Cada registro (o fila) que hay en la hoja Excel tiene 20 columnas.
Lo que estoy haciendo en este momento es leer esta hoja excel línea por línea mientras tenga datos, tengo una variable local por cada dato (en total 20 variables locales), y en cada variable le meto su correspondiente dato extraído de la línea que se está procesando. Posteriormente construyo una instrucción INSERT con los datos recogidos para meterlo en la BBDD.
En código queda de esta manera. Primero el pulsado del botón con el que comienzo a cargar los datos, seleccionando el archivo que quiero cargar:
Private Sub Btn_CargarDatos_Click(sender As Object, e As EventArgs) Handles Btn_CargarDatos.Click
Dim openFileDialog1 As New OpenFileDialog
Dim srlector As StreamReader
Dim Aplicacion As New Excel.Application
Dim ficheroSeleccionado As Excel.Workbook
Dim hojaTabla As Excel.Worksheet
Dim linea As String = ""
Dim contadorRegistrosInsertados_ As Integer = 0
Try
openFileDialog1.InitialDirectory = "C:\"
openFileDialog1.Filter = "xlsx files (*.xlsx)|*.xlsx|All files (*.*)|*.*"
openFileDialog1.FilterIndex = 1
openFileDialog1.RestoreDirectory = True
If openFileDialog1.ShowDialog() = Windows.Forms.DialogResult.OK Then
Try
Lbl_ContadorRegistrosCargados.Visible = True
fileName = openFileDialog1.SafeFileName
filePath = openFileDialog1.FileName
srlector = New StreamReader(filePath)
ficheroSeleccionado = Aplicacion.Workbooks.Open(openFileDialog1.FileName)
hojaTabla = ficheroSeleccionado.Worksheets(1) 'Poner el índice de la hoja o el nombre
For i As Integer = 2 To hojaTabla.Rows.Count
Dim version_ As String = hojaTabla.Rows(i).Value2(1, 1)
If version_ = Nothing Then
Exit For
Else
version_ = version_.Replace(" ", "")
End If
mes = hojaTabla.Rows(i).Value2(1, 2).ToString
anioFiscal = hojaTabla.Rows(i).Value2(1, 3).ToString
profitCenter = hojaTabla.Rows(i).Value2(1, 4)
WBSElement = hojaTabla.Rows(i).Value2(1, 5)
accountNumber = hojaTabla.Rows(i).Value2(1, 6)
accountText = hojaTabla.Rows(i).Value2(1, 7)
activityType = hojaTabla.Rows(i).Value2(1, 8)
text_ = hojaTabla.Rows(i).Value2(1, 9)
Dim value_ As String = hojaTabla.Rows(i).Value2(1, 10)
If value_ = Nothing Then
inTransactionCurrency = ""
Else
inTransactionCurrency = value_.ToString
End If
currKeyTransCurr = hojaTabla.Rows(i).Value2(1, 11)
refDocument = hojaTabla.Rows(i).Value2(1, 12)
vendor = hojaTabla.Rows(i).Value2(1, 13)
purchasingDocument = hojaTabla.Rows(i).Value2(1, 14)
parametrizacion = hojaTabla.Rows(i).Value2(1, 15)
parametrizacion = parametrizacion.Replace("'", "")
tipoDeGasto = hojaTabla.Rows(i).Value2(1, 16)
division = hojaTabla.Rows(i).Value2(1, 17)
area = hojaTabla.Rows(i).Value2(1, 18)
pais = hojaTabla.Rows(i).Value2(1, 19)
euros = hojaTabla.Rows(i).Value2(1, 20)
'CheckEmptyValues()
Dim sql_ As String = "INSERT INTO Registros (Version, Mes, AnioFiscal, ProfitCenter, WBSElement, AccountNumber, AccountText, " & _
"ActivityType, Text, InTransactionCurrency, CurrKeyTransCurr, RefDocument, Vendor, PurchasingDocument, Parametrizacion, " & _
"TipoDeGasto, Division, Area, Pais, Euros, CreationDate, Enabled) SELECT '" & version_ & "', '" & mes & "', '" & anioFiscal _
& "', '" & profitCenter & "', '" & WBSElement & "', '" & accountNumber & "', '" & accountText & "', '" & activityType & "', '" & _
Replace(text_, "'", "") & "', '" & Replace(inTransactionCurrency, ",", ".") & "', '" & currKeyTransCurr & "', '" & refDocument & "', '" & vendor & "', '" & purchasingDocument _
& "', '" & parametrizacion & "', '" & tipoDeGasto & "', '" & division & "', '" & area & "', '" & pais & "', '" & Replace(Math.Round(euros, 2), ",", ".") & "', '" & _
System.DateTime.Now & "', '" & True & "'"
obdd.operaciones(sql_)
contadorRegistrosInsertados_ += 1
Lbl_ContadorRegistrosCargados.Text = "Cargando registros: " & contadorRegistrosInsertados_
Next
srlector.Close()
ficheroSeleccionado.Close()
MessageBox.Show("Registros cargados correctamente")
Catch ex As Exception
Dim notificacionPopup_ As String = "Hubo un problema al abrir el archivo. Contacte con el administrador. Código de error: "
MessageBox.Show(notificacionPopup_ & ex.Message)
Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
& notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', " & System.DateTime.Now & "'"
obdd.operaciones(sqlError_)
End Try
End If
Catch ex As Exception
Dim notificacionPopup_ As String = "Hubo un problema al cargar el archivo. Contacte con el administrador. Código de error: "
MessageBox.Show(notificacionPopup_ & ex.Message)
Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
& notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', " & System.DateTime.Now & "'"
obdd.operaciones(sqlError_)
End Try
Aplicacion.Quit()
Lbl_ContadorRegistrosCargados.Visible = False
Lbl_ContadorRegistrosCargados.Text = "Cargando registros: "
End Sub
La función que me permite ejecutar la orden en la BBDD es
obdd.operaciones(sql_)
Y su código es el siguiente:
Public Sub operaciones(ByVal Sql As String)
con = New SQLiteConnection(conPath)
con.Open()
':::Instruccion Try para capturar errores
Try
':::Creamos nuestro objeto de tipo Command que almacenara nuestras instrucciones
':::Necesita 2 parametros (Instruccion, conexion)
Dim cmd As New SQLiteCommand(Sql, con)
':::Ejecutamos la instruccion mediante la propiedad ExecuteNonQuery del command
cmd.ExecuteNonQuery()
Catch ex As Exception
MsgBox(Notifications.ConnectionNoSuccessful & ": " & ex.Message, MsgBoxStyle.Critical, "CRUD")
End Try
':::Cerramos la conexion
con.Close()
End Sub
Todo este proceso de recogida de datos en las variables, la construcción de la query y la ejecución de la orden en la BBDD me viene a tardar como medio segundo en ejecutar por iteración del bucle for.
Estoy utilizando la librería Microsoft.Office.Interop
para trabajar con las hojas excel y la librería System.Data.SQLite
para la parte de BBDD. He visto que mucha gente usa OLEDB
y otras librerías para trabajar con BBDD, al igual que he visto que en algunas ocasiones también utilizan otra librería para trabajar con las hojas Excel en lugar de la que uso yo, pero tengo la obligación de mantener estas dos librerías que estoy usando..
Creéis que hay una manera más óptima que mi método para que no tarde medio segundo por iteración? Me parece una burrada de tiempo teniendo en cuenta que puedo llegar a tener Excels de 100.000 líneas.
Muchas gracias por cualquier consejo que podáis darme. Si hace falta alguna aclaración o código que pueda ser útil y se me haya pasado ponerlo decídmelo y lo pongo.
Saludos!
EDITADO
Tras entender cómo funcionan las transacciones, he conseguido mejorar en buena medida el tiempo que me lleva insertar en base de datos mis registros, pero creo que aún se puede mejorar más, me sigue pareciendo un poco lento. Muestro el nuevo código: Función de carga de datos:
Private Sub Btn_CargarDatos_Click(sender As Object, e As EventArgs) Handles Btn_CargarDatos.Click
Dim openFileDialog1 As New OpenFileDialog
Dim srlector As StreamReader
Dim Aplicacion As New Excel.Application
Dim ficheroSeleccionado As Excel.Workbook
Dim hojaTabla As Excel.Worksheet
Dim linea As String = ""
Dim contadorRegistrosInsertados_ As Integer = 0
Dim queryList_ As New List(Of String)
Try
openFileDialog1.InitialDirectory = "C:\"
openFileDialog1.Filter = "xlsx files (*.xlsx)|*.xlsx|All files (*.*)|*.*"
openFileDialog1.FilterIndex = 1
openFileDialog1.RestoreDirectory = True
If openFileDialog1.ShowDialog() = Windows.Forms.DialogResult.OK Then
Try
Lbl_ContadorRegistrosCargados.Visible = True
fileName = openFileDialog1.SafeFileName
filePath = openFileDialog1.FileName
srlector = New StreamReader(filePath)
ficheroSeleccionado = Aplicacion.Workbooks.Open(openFileDialog1.FileName)
hojaTabla = ficheroSeleccionado.Worksheets(1) 'Poner el índice de la hoja o el nombre
'obdd.openConnection()
For i As Integer = 2 To hojaTabla.Rows.Count
Dim version_ As String = hojaTabla.Rows(i).Value2(1, 1)
If version_ = Nothing Then
Exit For
Else
version_ = version_.Replace(" ", "")
End If
mes = hojaTabla.Rows(i).Value2(1, 2).ToString
anioFiscal = hojaTabla.Rows(i).Value2(1, 3).ToString
profitCenter = hojaTabla.Rows(i).Value2(1, 4)
WBSElement = hojaTabla.Rows(i).Value2(1, 5)
accountNumber = hojaTabla.Rows(i).Value2(1, 6)
accountText = hojaTabla.Rows(i).Value2(1, 7)
activityType = hojaTabla.Rows(i).Value2(1, 8)
text_ = hojaTabla.Rows(i).Value2(1, 9)
Dim value_ As String = hojaTabla.Rows(i).Value2(1, 10)
If value_ = Nothing Then
inTransactionCurrency = ""
Else
inTransactionCurrency = value_.ToString
End If
currKeyTransCurr = hojaTabla.Rows(i).Value2(1, 11)
refDocument = hojaTabla.Rows(i).Value2(1, 12)
vendor = hojaTabla.Rows(i).Value2(1, 13)
purchasingDocument = hojaTabla.Rows(i).Value2(1, 14)
parametrizacion = hojaTabla.Rows(i).Value2(1, 15)
parametrizacion = parametrizacion.Replace("'", "")
tipoDeGasto = hojaTabla.Rows(i).Value2(1, 16)
division = hojaTabla.Rows(i).Value2(1, 17)
area = hojaTabla.Rows(i).Value2(1, 18)
pais = hojaTabla.Rows(i).Value2(1, 19)
euros = hojaTabla.Rows(i).Value2(1, 20)
'CheckEmptyValues()
Dim sql_ As String = "INSERT INTO Registros (Version, Mes, AnioFiscal, ProfitCenter, WBSElement, AccountNumber, AccountText, " & _
"ActivityType, Text, InTransactionCurrency, CurrKeyTransCurr, RefDocument, Vendor, PurchasingDocument, Parametrizacion, " & _
"TipoDeGasto, Division, Area, Pais, Euros, CreationDate, Enabled) SELECT '" & version_ & "', '" & mes & "', '" & anioFiscal _
& "', '" & profitCenter & "', '" & WBSElement & "', '" & accountNumber & "', '" & accountText & "', '" & activityType & "', '" & _
Replace(text_, "'", "") & "', '" & Replace(inTransactionCurrency, ",", ".") & "', '" & currKeyTransCurr & "', '" & refDocument & "', '" & vendor & "', '" & purchasingDocument _
& "', '" & parametrizacion & "', '" & tipoDeGasto & "', '" & division & "', '" & area & "', '" & pais & "', '" & Replace(Math.Round(euros, 2), ",", ".") & "', '" & _
System.DateTime.Now & "', '" & True & "'"
queryList_.Add(sql_)
'obdd.operacionesNoCloseDB(sql_)
contadorRegistrosInsertados_ += 1
Lbl_ContadorRegistrosCargados.Text = "Cargando registros: " & contadorRegistrosInsertados_
Next
obdd.insertSetUsingTransaction(queryList_)
'obdd.closeConnection()
srlector.Close()
ficheroSeleccionado.Close()
MessageBox.Show("Registros cargados correctamente")
Catch ex As Exception
Dim notificacionPopup_ As String = "Hubo un problema al abrir el archivo. Contacte con el administrador. Código de error: "
MessageBox.Show(notificacionPopup_ & ex.Message)
Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
& notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', '" & System.DateTime.Now & "'"
obdd.operaciones(sqlError_)
End Try
End If
Catch ex As Exception
Dim notificacionPopup_ As String = "Hubo un problema al cargar el archivo. Contacte con el administrador. Código de error: "
MessageBox.Show(notificacionPopup_ & ex.Message)
Dim sqlError_ As String = "INSERT INTO ErrorLog (NotificacionPopup, Error, Mensaje, CreationDate) SELECT '" _
& notificacionPopup_ & "', '" & ex.ToString & "', '" & ex.Message & "', '" & System.DateTime.Now & "'"
obdd.operaciones(sqlError_)
End Try
Aplicacion.Quit()
Lbl_ContadorRegistrosCargados.Visible = False
Lbl_ContadorRegistrosCargados.Text = "Cargando registros: "
End Sub
Meto todas las querys en una lista de strings y luego las ejecuto con una transacción todas a la vez. En la siguiente instrucción es donde lo hago:
obdd.insertSetUsingTransaction(queryList_)
Y la función insertSetUsingTransaction
hace lo siguiente:
Public Sub insertSetUsingTransaction(ByVal queryList_ As List(Of String))
Dim transaction_ As SQLiteTransaction
con = New SQLiteConnection(conPath)
Dim cmd_ As New SQLiteCommand(con)
Try
Using con
con.Open()
transaction_ = con.BeginTransaction
Using transaction_
Using cmd_
cmd_.Transaction = transaction_
For Each line In queryList_
cmd_.CommandText = line
cmd_.ExecuteNonQuery()
Next
End Using
transaction_.Commit()
End Using
con.Close()
End Using
Catch ex As SQLiteException
Console.WriteLine("Error: {0}", ex.ToString())
If transaction_ IsNot Nothing Then
Try
transaction_.Rollback()
Catch ex2 As SQLiteException
Console.WriteLine("Transaction rollback failed.")
Console.WriteLine("Error: {0}", ex2.ToString())
Finally
transaction_.Dispose()
End Try
End If
Finally
End Try
End Sub
Creéis que existe alguna forma de optimizar aún más el tiempo? Estoy seguro de que alguna manera debe haber pero no consigo dar con ello..
Mil gracias!