0

¡Hola! Estoy en la duda de como pasar un objeto que recibo, sin un foreach hacia me BD. Les comento, yo importo un excel en donde este tiene muchas filas, mas de 700, y cada vez que lo importo, utilizo un foreach, me parece que esto esta mal ya que sobrecargo mi memoria, habra algun otro metodo ? Desde ya muchas gracias. Trabajo con EF Core y .NET Core.

Dejo mi codigo actual:

using (var csv = new CsvReader(reader, config))
        {
            list = csv.GetRecords<T>().ToList();

            list.ForEach(x =>
            {
                x.FileName = Path.GetFileName(file.FileName);
                x.FechaCarga = DateTime.UtcNow;
                lock (context)
                {
                    context.Add(x);
                }
            });

            lock (context)
            {
                context.SaveChanges();
            }
        }

1 respuesta 1

1

No es sólo un problema de memoria, sino de eficiencia al cargar los datos en la base de datos. Tal y como estás haciendo se ejecutan 700 instrucciones INSERT, lo cual es bastante lento.

La forma más eficiente de cargar datos en una tabla de SQL Server (asumo que es SQL Server) es usando la clase SqlBulkCopy que está específicamente diseñada para cargas masivas. Otros sistemas de bases de datos tienen clases similares.

Para usar SqlBulkCopy tienes que tener o bien todos los datos cargados en un DataTable o bien disponer de un DataReader que los vaya proporcionando según se van enviando a la base de datos. DataReader es la opción más eficiente y que consume menos memoria.

La pega es que CsvReader no proporciona un DataReader sino un IEnumerable<T>, pero no es difícil implementar un DataReader a partir de un enumerable. Yo lo hago en mi micro ORM:

https://github.com/jesuslpm/EntityLite/blob/master/inercya.EntityLite/Collections/CollectionDataReader.cs

SqlBulkCopy funciona más rápido si se usa una transacción y bloqueo de tabla.

Aquí te dejo un ejemplo de lo que estoy hablando:

using inercya.EntityLite.Collections;
using LoadCustomers;
using Microsoft.Extensions.Configuration;
using System.Data.SqlClient;
using System.Diagnostics;
using System.Globalization;

var watch = Stopwatch.StartNew();

var configuration = new ConfigurationBuilder()
    .SetBasePath(AppDomain.CurrentDomain.BaseDirectory)
    .AddJsonFile("appsettings.json")
    .Build();


var csvPath = Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "Customers.csv");
var csvConfig= new CsvHelper.Configuration.CsvConfiguration(CultureInfo.InvariantCulture)
{
    Delimiter = ";"
};
using (var textReader = new StreamReader(csvPath))
using (var csvReader = new CsvHelper.CsvReader(textReader, csvConfig))
{
    var customers = csvReader.GetRecords<Customer>();
    var connectionString = configuration.GetConnectionString("Customers");
    using (var dataReader = new CollectionDataReader<Customer>(customers))
    using (var cn = new SqlConnection(connectionString))
    {
        await cn.OpenAsync();
        using (var tx = cn.BeginTransaction())
        using (var bcp = new SqlBulkCopy(cn, SqlBulkCopyOptions.TableLock, tx))
        {
            bcp.DestinationTableName = "dbo.Customers";

            bcp.ColumnMappings.Add(nameof(Customer.Id), nameof(Customer.Id));
            bcp.ColumnMappings.Add(nameof(Customer.Name), nameof(Customer.Name));
            bcp.ColumnMappings.Add(nameof(Customer.Address), nameof(Customer.Address));
            bcp.ColumnMappings.Add(nameof(Customer.City), nameof(Customer.City));
            bcp.ColumnMappings.Add(nameof(Customer.Country), nameof(Customer.Country));
            bcp.ColumnMappings.Add(nameof(Customer.PostalCode), nameof(Customer.PostalCode));
            bcp.ColumnMappings.Add(nameof(Customer.Phone), nameof(Customer.Phone));

            await bcp.WriteToServerAsync(dataReader);
            await tx.CommitAsync();
        }
    }
}

Console.WriteLine($"Elapsed time ${watch.Elapsed}");

En este ejemplo utilizo el CollectionDataReader que está disponible en paquete nuget https://www.nuget.org/packages/EntityLite.Core

El archivo "Customers.csv" que uso de ejemplo tiene 6640 registros y el programa tarda sólo 250 milisegundos en cargarlos en la tabla:

CREATE TABLE Customers 
(
    Id nvarchar(128),
    Name nvarchar(128),
    Address nvarchar(128),
    City nvarchar(128),
    Country nvarchar(128),
    PostalCode nvarchar(128),
    Phone nvarchar(128)
)

Aquí tienes un fragmento de ejemplo de Customers.csv:

Id;Name;Address;City;Country;PostalCode;Phone
ALFAA;Alfreds HILARION-Abasto;Obere Str. 57;San Cristóbal;Germany;5022;030-0074321
ALFAI;Alfreds  maison d'Asie;Obere Str. 57;Toulouse;Germany;31000;030-0074321
ALFAL;Alfreds  Lakes Food Market;Obere Str. 57;Eugene;Germany;97403;030-0074321
ALFAN;Alfreds  Atlántico Ltda.;Obere Str. 57;Buenos Aires;Germany;1010;030-0074321
ALFAP;Alfreds  app';Obere Str. 57;Marseille;Germany;13008;030-0074321
ALFAR;Alfreds  Carnes;Obere Str. 57;Rio de Janeiro;Germany;05454-876;030-0074321
ALFAS;Alfreds LILA-Supermercad;Obere Str. 57;Barquisimeto;Germany;3508;030-0074321
ALFAT;Alfreds  Trading;Obere Str. 57;Cowes;Germany;PO31 7PJ;030-0074321
ALFBI;Alfreds  Big Cheese;Obere Str. 57;Portland;Germany;97201;030-0074321
ALFCD;Alfreds  Delikatessen;Obere Str. 57;Aachen;Germany;52066;030-0074321
ALFCH;Alfreds  grande;Obere Str. 57;Buenos Aires;Germany;1010;030-0074321
ALFCK;Alfreds QUICK-Sto;Obere Str. 57;Cunewalde;Germany;1307;030-0074321
ALFCO;Alfreds  und mehr;Obere Str. 57;Salzburg;Germany;5020;030-0074321
ALFCR;Alfreds  Cracker Box;Obere Str. 57;Butte;Germany;59801;030-0074321
ALFDE;Alfreds  Delícia;Obere Str. 57;Rio de Janeiro;Germany;02389-673;030-0074321
ALFDH;Alfreds  Hipermercados;Obere Str. 57;Sao Paulo;Germany;05634-030;030-0074321
ALFDK;Alfreds  Wandernde Kuh;Obere Str. 57;Stuttgart;Germany;70563;030-0074321
ALFEA;Alfreds  Markets;Obere Str. 57;Boise;Germany;83720;030-0074321
ALFED;Alfreds  del gastrónomo;Obere Str. 57;Barcelona;Germany;8022;030-0074321
ALFEN;Alfreds  Cozinha;Obere Str. 57;Sao Paulo;Germany;05487-020;030-0074321
ALFEP;Alfreds  Pine Restaurant;Obere Str. 57;Portland;Germany;97219;030-0074321
ALFES;Alfreds  Seas Imports;Obere Str. 57;London;Germany;OX15 4NB;030-0074321
ALFET;Alfreds  et alcools Chevalier;Obere Str. 57;Reims;Germany;51100;030-0074321

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.