No es sólo un problema de memoria, sino de eficiencia al cargar los datos en la base de datos. Tal y como estás haciendo se ejecutan 700 instrucciones INSERT
, lo cual es bastante lento.
La forma más eficiente de cargar datos en una tabla de SQL Server (asumo que es SQL Server) es usando la clase SqlBulkCopy
que está específicamente diseñada para cargas masivas. Otros sistemas de bases de datos tienen clases similares.
Para usar SqlBulkCopy
tienes que tener o bien todos los datos cargados en un DataTable
o bien disponer de un DataReader
que los vaya proporcionando según se van enviando a la base de datos. DataReader
es la opción más eficiente y que consume menos memoria.
La pega es que CsvReader
no proporciona un DataReader
sino un IEnumerable<T>
, pero no es difícil implementar un DataReader
a partir de un enumerable. Yo lo hago en mi micro ORM:
https://github.com/jesuslpm/EntityLite/blob/master/inercya.EntityLite/Collections/CollectionDataReader.cs
SqlBulkCopy
funciona más rápido si se usa una transacción y bloqueo de tabla.
Aquí te dejo un ejemplo de lo que estoy hablando:
using inercya.EntityLite.Collections;
using LoadCustomers;
using Microsoft.Extensions.Configuration;
using System.Data.SqlClient;
using System.Diagnostics;
using System.Globalization;
var watch = Stopwatch.StartNew();
var configuration = new ConfigurationBuilder()
.SetBasePath(AppDomain.CurrentDomain.BaseDirectory)
.AddJsonFile("appsettings.json")
.Build();
var csvPath = Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "Customers.csv");
var csvConfig= new CsvHelper.Configuration.CsvConfiguration(CultureInfo.InvariantCulture)
{
Delimiter = ";"
};
using (var textReader = new StreamReader(csvPath))
using (var csvReader = new CsvHelper.CsvReader(textReader, csvConfig))
{
var customers = csvReader.GetRecords<Customer>();
var connectionString = configuration.GetConnectionString("Customers");
using (var dataReader = new CollectionDataReader<Customer>(customers))
using (var cn = new SqlConnection(connectionString))
{
await cn.OpenAsync();
using (var tx = cn.BeginTransaction())
using (var bcp = new SqlBulkCopy(cn, SqlBulkCopyOptions.TableLock, tx))
{
bcp.DestinationTableName = "dbo.Customers";
bcp.ColumnMappings.Add(nameof(Customer.Id), nameof(Customer.Id));
bcp.ColumnMappings.Add(nameof(Customer.Name), nameof(Customer.Name));
bcp.ColumnMappings.Add(nameof(Customer.Address), nameof(Customer.Address));
bcp.ColumnMappings.Add(nameof(Customer.City), nameof(Customer.City));
bcp.ColumnMappings.Add(nameof(Customer.Country), nameof(Customer.Country));
bcp.ColumnMappings.Add(nameof(Customer.PostalCode), nameof(Customer.PostalCode));
bcp.ColumnMappings.Add(nameof(Customer.Phone), nameof(Customer.Phone));
await bcp.WriteToServerAsync(dataReader);
await tx.CommitAsync();
}
}
}
Console.WriteLine($"Elapsed time ${watch.Elapsed}");
En este ejemplo utilizo el CollectionDataReader
que está disponible en paquete nuget https://www.nuget.org/packages/EntityLite.Core
El archivo "Customers.csv" que uso de ejemplo tiene 6640 registros y el programa tarda sólo 250 milisegundos en cargarlos en la tabla:
CREATE TABLE Customers
(
Id nvarchar(128),
Name nvarchar(128),
Address nvarchar(128),
City nvarchar(128),
Country nvarchar(128),
PostalCode nvarchar(128),
Phone nvarchar(128)
)
Aquí tienes un fragmento de ejemplo de Customers.csv
:
Id;Name;Address;City;Country;PostalCode;Phone
ALFAA;Alfreds HILARION-Abasto;Obere Str. 57;San Cristóbal;Germany;5022;030-0074321
ALFAI;Alfreds maison d'Asie;Obere Str. 57;Toulouse;Germany;31000;030-0074321
ALFAL;Alfreds Lakes Food Market;Obere Str. 57;Eugene;Germany;97403;030-0074321
ALFAN;Alfreds Atlántico Ltda.;Obere Str. 57;Buenos Aires;Germany;1010;030-0074321
ALFAP;Alfreds app';Obere Str. 57;Marseille;Germany;13008;030-0074321
ALFAR;Alfreds Carnes;Obere Str. 57;Rio de Janeiro;Germany;05454-876;030-0074321
ALFAS;Alfreds LILA-Supermercad;Obere Str. 57;Barquisimeto;Germany;3508;030-0074321
ALFAT;Alfreds Trading;Obere Str. 57;Cowes;Germany;PO31 7PJ;030-0074321
ALFBI;Alfreds Big Cheese;Obere Str. 57;Portland;Germany;97201;030-0074321
ALFCD;Alfreds Delikatessen;Obere Str. 57;Aachen;Germany;52066;030-0074321
ALFCH;Alfreds grande;Obere Str. 57;Buenos Aires;Germany;1010;030-0074321
ALFCK;Alfreds QUICK-Sto;Obere Str. 57;Cunewalde;Germany;1307;030-0074321
ALFCO;Alfreds und mehr;Obere Str. 57;Salzburg;Germany;5020;030-0074321
ALFCR;Alfreds Cracker Box;Obere Str. 57;Butte;Germany;59801;030-0074321
ALFDE;Alfreds Delícia;Obere Str. 57;Rio de Janeiro;Germany;02389-673;030-0074321
ALFDH;Alfreds Hipermercados;Obere Str. 57;Sao Paulo;Germany;05634-030;030-0074321
ALFDK;Alfreds Wandernde Kuh;Obere Str. 57;Stuttgart;Germany;70563;030-0074321
ALFEA;Alfreds Markets;Obere Str. 57;Boise;Germany;83720;030-0074321
ALFED;Alfreds del gastrónomo;Obere Str. 57;Barcelona;Germany;8022;030-0074321
ALFEN;Alfreds Cozinha;Obere Str. 57;Sao Paulo;Germany;05487-020;030-0074321
ALFEP;Alfreds Pine Restaurant;Obere Str. 57;Portland;Germany;97219;030-0074321
ALFES;Alfreds Seas Imports;Obere Str. 57;London;Germany;OX15 4NB;030-0074321
ALFET;Alfreds et alcools Chevalier;Obere Str. 57;Reims;Germany;51100;030-0074321