0

Estoy tratando de cargar un archivo plano grande (250 Mb) en un datatable pero despues de cargar una considerable cantidad de registros (4 M), me arroja el error 'System.OutOfMemoryException'

                DataTable listaTX = new DataTable("listaTX");
                listaTX.Columns.Add("CodDep", typeof(int));
                listaTX.Columns.Add("CodMun", typeof(int));
                listaTX.Columns.Add("CodZon", typeof(int));
                listaTX.Columns.Add("CodPue", typeof(String));
                listaTX.Columns.Add("Mesa", typeof(int));
                listaTX.Columns.Add("CodJal", typeof(int));
                listaTX.Columns.Add("Comunicado", typeof(int));
                listaTX.Columns.Add("CodCirc", typeof(int));
                listaTX.Columns.Add("CodPar", typeof(int));
                listaTX.Columns.Add("CodCan", typeof(int));
                listaTX.Columns.Add("Votos", typeof(int));
                listaTX.Columns.Add("CodTX", typeof(int));                    

                using (FileStream fs = File.Open(ruta, FileMode.Open, FileAccess.Read, FileShare.ReadWrite))
                using (BufferedStream bs = new BufferedStream(fs))
                using (StreamReader sr = new StreamReader(bs))
                {                    
                    try
                    {
                        while ((linea = sr.ReadLine()) != null)
                        {

                            DataRow fila = listaTX.NewRow();
                            fila[0] = linea.Substring(0, 2);
                            fila[1] = linea.Substring(2, 3);
                            fila[2] = linea.Substring(5, 2);
                            fila[3] = linea.Substring(7, 2);
                            fila[4] = linea.Substring(9, 6);
                            fila[5] = linea.Substring(15, 2);
                            fila[6] = linea.Substring(17, 4);
                            fila[7] = linea.Substring(21, 1);
                            fila[8] = linea.Substring(22, 3);
                            fila[9] = linea.Substring(25, 3);
                            fila[10] = linea.Substring(28, 8);
                            fila[11] = linea.Substring(36, 7);
                            listaTX.Rows.Add(fila);
                   }
               }
          }

Si en la casilla de propiedades del proyecto deshabilito la opción "Prefer 32 - bit" me funciona pero hice luego la prueba en una maquina de 32 bits y sale el mencionado error.

¿Existe alguna forma de optimizar el codigo u otro metodo que me permita cargar este archivo grande en un datatable?

7
  • 1
    ¿Cuál es el motivo por el que quieres cargarlo a un DataTable?
    – Davlio
    Commented el 11 ene. 2018 a las 21:50
  • Para construir nuevamente un archivo plano fraccionado de acuerdo a ciertas condiciones que se evalúan mas adelante sobre el datatable, desafortunadamente la aplicación no tiene base de datos para cargar ahí. Commented el 11 ene. 2018 a las 22:12
  • 2
    Hola. Un DataTable es un objeto muy pesado. Por qué no te creas una clase para para meter en una lista y luego trabajar sobre ella con Linq? Usa también las herramientas de profiling para ver la memoria usada en tu aplicación Commented el 11 ene. 2018 a las 22:20
  • @SergioParraGuerra voy a probar la idea, muchas gracias Commented el 11 ene. 2018 a las 22:47
  • 1
    Deberias de paginar el resultado y no procesarlo todo junto. Te imaginas que el archivo llegase a 10GB? Pretendes cargar todo el archivo al DataTable?
    – Einer
    Commented el 12 ene. 2018 a las 1:51

2 respuestas 2

2

Para poder montar una estructura más ligera podrías crearte una clase que internamente almacene únicamente el string y devuelva a través de propiedades los diferentes valores:

class Registro
{
    readonly string _value;

    private Registro(string value)
    {
        _value = value;
    }

    #region Conversión implícita con string

    public static implicit operator string(Registro d)
    {
        return d.ToString();
    }

    public static implicit operator Registro(string d)
    {
        return new Registro(d);
    }

    #endregion

    #region Propiedades que devuelven los campos

    public int CodDep => int.Parse(_value.Substring(0, 2));
    public int CodMun => int.Parse(_value.Substring(2, 3));
    public int CodZon => int.Parse(_value.Substring(5, 2));
    public string CodPue => _value.Substring(7, 2);
    public int Mesa => int.Parse(_value.Substring(9, 6));
    public int CodJal => int.Parse(_value.Substring(15, 2));
    public int Comunicado => int.Parse(_value.Substring(17, 4));
    public int CodCirc => int.Parse(_value.Substring(21, 1));
    public int CodPar => int.Parse(_value.Substring(22, 3));
    public int CodCan => int.Parse(_value.Substring(25, 3));
    public int Votos => int.Parse(_value.Substring(28, 8));
    public int CodTX => int.Parse(_value.Substring(36, 7));

    #endregion
}

Así el método de lectura del fichero podría devolver una lista de elementos Registro mucho más ligero que un DataTable:

private static IEnumerable<Registro> GetRecords(string ruta)
{
    var listaTx = new List<Registro>();

    using (StreamReader sr = new StreamReader(ruta))
    {
        while (sr.Peek() >= 0)
        {
            Registro linea = sr.ReadLine();
            if (!string.IsNullOrEmpty(linea)) listaTx.Add(linea);
        }
    }
    return listaTx;
}

Para recuperar todos los registros del fichero simplemente:

var data = GetRecords(rutaFichero);

Aunque si el objetivo es filtrar esos datos para generar un nuevo fichero sería mejor realizar el filtrado al leer el fichero, de esta forma no necesitarías almacenar en memoria el conjunto completo de datos, si no sólo los que vas a utilizar.

Para ello podrías crear una sobrecarga del método de lectura que acepte una condición de filtrado:

private static IEnumerable<Registro> GetRecords(string ruta, Func<Registro, bool> condicion)
{
    var listaTx = new List<Registro>();

    using (StreamReader sr = new StreamReader(ruta))
    {
        while (sr.Peek()>=0)
        {
            Registro linea = sr.ReadLine();
            if (linea != null && condicion(linea)) { listaTx.Add(linea); }
        }
    }
    return listaTx;
}

De esta forma, para por ejemplo obtener todos los registros con CodMun=83 bastaría con hacer:

var data = GetRecords(rutaFichero, r => r.CodMun == 83);

Mucho más rápido y con mucho menos consumo de memoria.

0

Podrías utilizar el iterador yield para ir leyendo linea a linea y evitar la carga completa del fichero en memoria

EDITADO

Voy a ser mas especifico que antes estaba en el curro y no he podido poner mucho ejemplo. He creado un ejemplo con una lectura de un fichero de texto normal con 1.000.000 de lineas (250MB) y lo leo e inserto en un textBox.

El código que carga el fichero en memoria completamente es el siguiente:

using (StreamReader sr = new StreamReader(cPruebaTxt))
        {
            foreach (string line in GetDataLines(sr))
            {
                richTextBox1.Text += line + Environment.NewLine;
            }
        }

Este código usa varios GB de memoria.

Por otra parte usando la sentencia yield el codigo quedaria así:

private void LoadFile_Click(object sender, EventArgs e)
    {

        using (StreamReader sr = new StreamReader(cPruebaTxt))
        {
            foreach (string line in GetDataLines(sr))
            {
                richTextBox1.Text += line + Environment.NewLine;
            }
        }

    }

     private IEnumerable<string> GetDataLines(StreamReader sr)
    {
        string line = "";

        while ((line = sr.ReadLine()) != null)
        {  
                yield return line; 
        }

    }

Este código no ha subido de 50MB de uso de memoria, eso si, tarda mas en ejecutarse si solo vamos a leer. Sin embargo si lo que hacemos es procesar las lineas leidas el tiempo se igualaría bastante, y en caso de ficheros muy grande la primera opción daría un Out of memory mientra que la segunda conseguirá cumplir su objetivo.

Te dejo un pequeño ejemplo: https://jamesmccaffrey.wordpress.com/2011/02/04/processing-a-text-file-with-the-c-yield-return-pattern/

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.