Estoy tratando de cargar un archivo plano grande (250 Mb) en un datatable pero despues de cargar una considerable cantidad de registros (4 M), me arroja el error 'System.OutOfMemoryException'
DataTable listaTX = new DataTable("listaTX");
listaTX.Columns.Add("CodDep", typeof(int));
listaTX.Columns.Add("CodMun", typeof(int));
listaTX.Columns.Add("CodZon", typeof(int));
listaTX.Columns.Add("CodPue", typeof(String));
listaTX.Columns.Add("Mesa", typeof(int));
listaTX.Columns.Add("CodJal", typeof(int));
listaTX.Columns.Add("Comunicado", typeof(int));
listaTX.Columns.Add("CodCirc", typeof(int));
listaTX.Columns.Add("CodPar", typeof(int));
listaTX.Columns.Add("CodCan", typeof(int));
listaTX.Columns.Add("Votos", typeof(int));
listaTX.Columns.Add("CodTX", typeof(int));
using (FileStream fs = File.Open(ruta, FileMode.Open, FileAccess.Read, FileShare.ReadWrite))
using (BufferedStream bs = new BufferedStream(fs))
using (StreamReader sr = new StreamReader(bs))
{
try
{
while ((linea = sr.ReadLine()) != null)
{
DataRow fila = listaTX.NewRow();
fila[0] = linea.Substring(0, 2);
fila[1] = linea.Substring(2, 3);
fila[2] = linea.Substring(5, 2);
fila[3] = linea.Substring(7, 2);
fila[4] = linea.Substring(9, 6);
fila[5] = linea.Substring(15, 2);
fila[6] = linea.Substring(17, 4);
fila[7] = linea.Substring(21, 1);
fila[8] = linea.Substring(22, 3);
fila[9] = linea.Substring(25, 3);
fila[10] = linea.Substring(28, 8);
fila[11] = linea.Substring(36, 7);
listaTX.Rows.Add(fila);
}
}
}
Si en la casilla de propiedades del proyecto deshabilito la opción "Prefer 32 - bit" me funciona pero hice luego la prueba en una maquina de 32 bits y sale el mencionado error.
¿Existe alguna forma de optimizar el codigo u otro metodo que me permita cargar este archivo grande en un datatable?
DataTable
?DataTable
es un objeto muy pesado. Por qué no te creas una clase para para meter en una lista y luego trabajar sobre ella conLinq
? Usa también las herramientas deprofiling
para ver la memoria usada en tu aplicación