gracias por tu tiempo antes que nada, mi duda es como puedo optimizar el bulk insert copy en mi app de c#, tengo la siguiente estructura:
Pero al intentar cargar un archivo excel con 400,000 registros esta configuración se tarda 30 minutos o mas en subir toda la información a la B.D.
¿Cómo podría mejorarlo? o evitar que se lleve todo ese tiempo, ya que al igual disminuye el performance.
Haciendo seguimiento con Stopwatch, en odaExcel.Fill(dt); se tarda al rededor de 25 minutos y al momento de escribir en la BD se tarda aprox 10 min,
switch (extension)
{
case ".xls": //Excel 97-03.
conString = ConfigurationManager.ConnectionStrings["Excel03ConString"].ConnectionString;
break;
case ".xlsx": //Excel 07 and above.
conString = ConfigurationManager.ConnectionStrings["Excel07ConString"].ConnectionString;
break;
}
DataTable dt = new DataTable();
conString = string.Format(conString, filePath);
using (OleDbConnection connExcel = new OleDbConnection(conString))
{
Stopwatch sw1 = Stopwatch.StartNew();
using (OleDbCommand cmdExcel = new OleDbCommand())
{
using (OleDbDataAdapter odaExcel = new OleDbDataAdapter())
{
cmdExcel.Connection = connExcel;
//Get the name of First Sheet.
connExcel.Open();
DataTable dtExcelSchema;
dtExcelSchema = connExcel.GetOleDbSchemaTable(OleDbSchemaGuid.Tables, null);
string sheetName = dtExcelSchema.Rows[0]["TABLE_NAME"].ToString();
connExcel.Close();
//Read Data from First Sheet.
connExcel.Open();
cmdExcel.CommandText = "SELECT * From [" + sheetName + "]";
odaExcel.SelectCommand = cmdExcel;
odaExcel.Fill(dt);
sw1.Stop();
connExcel.Close();
}
}
}
conString = ConfigurationManager.ConnectionStrings["DbContext"].ConnectionString;
Stopwatch sw2 = Stopwatch.StartNew();
using (SqlConnection con = new SqlConnection(conString)) {
using (SqlBulkCopy sqlBulkCopy = new SqlBulkCopy(con))
{
//Set the database table name.
sqlBulkCopy.DestinationTableName = "BulkCopyTbl";
sqlBulkCopy.BulkCopyTimeout = 900;
// Set the BatchSize.
sqlBulkCopy.BatchSize = 10000;
//[OPTIONAL]: Map the Excel columns with that of the database table
sqlBulkCopy.ColumnMappings.Add("numero", "numero");
//10 columnas mas
con.Open();
sqlBulkCopy.WriteToServer(dt);
sw2.Stop();
Debug.WriteLine("Time taken for excel roots: {0} m", sw2.Elapsed.TotalMinutes);
tiempo_insert = sw2.Elapsed.TotalMinutes;
con.Close();
}
}
}
return View(); ```