2

gracias por tu tiempo antes que nada, mi duda es como puedo optimizar el bulk insert copy en mi app de c#, tengo la siguiente estructura:

Pero al intentar cargar un archivo excel con 400,000 registros esta configuración se tarda 30 minutos o mas en subir toda la información a la B.D.

¿Cómo podría mejorarlo? o evitar que se lleve todo ese tiempo, ya que al igual disminuye el performance.

Haciendo seguimiento con Stopwatch, en odaExcel.Fill(dt); se tarda al rededor de 25 minutos y al momento de escribir en la BD se tarda aprox 10 min,

                switch (extension) 
                {
                    case ".xls": //Excel 97-03.
                        conString = ConfigurationManager.ConnectionStrings["Excel03ConString"].ConnectionString;
                        break;
                    case ".xlsx": //Excel 07 and above.
                        conString = ConfigurationManager.ConnectionStrings["Excel07ConString"].ConnectionString;
                        break;
                }

                DataTable dt = new DataTable(); 
                conString = string.Format(conString, filePath); 

                using (OleDbConnection connExcel = new OleDbConnection(conString)) 
                {
                    Stopwatch sw1 = Stopwatch.StartNew();  
                   using (OleDbCommand cmdExcel = new OleDbCommand())
                    {
                        using (OleDbDataAdapter odaExcel = new OleDbDataAdapter())
                        {
                            cmdExcel.Connection = connExcel;
                            //Get the name of First Sheet.
                            connExcel.Open();
                            DataTable dtExcelSchema;
                            dtExcelSchema = connExcel.GetOleDbSchemaTable(OleDbSchemaGuid.Tables, null);
                            string sheetName = dtExcelSchema.Rows[0]["TABLE_NAME"].ToString();
                            connExcel.Close();
                            //Read Data from First Sheet.
                            connExcel.Open();
                            cmdExcel.CommandText = "SELECT * From [" + sheetName + "]";
                            odaExcel.SelectCommand = cmdExcel;                            
                            odaExcel.Fill(dt);
                            sw1.Stop(); 
                            connExcel.Close();
                        }
                    }
                }

                conString = ConfigurationManager.ConnectionStrings["DbContext"].ConnectionString; 

                Stopwatch sw2 = Stopwatch.StartNew();
                using (SqlConnection con = new SqlConnection(conString))                {
                   
                    using (SqlBulkCopy sqlBulkCopy = new SqlBulkCopy(con))
                    {
                        //Set the database table name.
                        sqlBulkCopy.DestinationTableName = "BulkCopyTbl";
                       
                        sqlBulkCopy.BulkCopyTimeout = 900;
                        // Set the BatchSize.
                        sqlBulkCopy.BatchSize = 10000;

                        //[OPTIONAL]: Map the Excel columns with that of the database table                        
                        sqlBulkCopy.ColumnMappings.Add("numero", "numero");
                        //10 columnas mas
                        con.Open();
                        sqlBulkCopy.WriteToServer(dt); 
                        sw2.Stop();
                        Debug.WriteLine("Time taken for excel roots: {0} m", sw2.Elapsed.TotalMinutes);
                        tiempo_insert = sw2.Elapsed.TotalMinutes;
                        con.Close();
                    }
                }
            }
            return View(); ```

1 respuesta 1

-2

El problema está en la conexión que utilizas para leer el Excel.

Lo más rápido y sensato, es "destripar" el Excel y leer los .xml subyacentes (tampoco te recomiendo utilizar las librerías OpenXML, ya que también meten mucho "ruido", es decir, lentas). Aunque esto es un trabajo arduo y sólo sirve para Excel 2007 en adelante. Además, te olvidarías de los dichosos drivers de Office que nunca se deberían instalar en un servidor.

Y como colofón, podrías realizar lecturas en paralelo e insertarlas en paralelo, con lo cual el rendimiento aumentará bastante.

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.