0

Optimizar proceso de lectura/obtención de datos (Archivo.dat), C#

¿Cómo puedo optimizar este proceso? , ya sea usando Linq o alguna otra sugerencia.

Estoy realizando un proceso en el cual, debo obtener ciertos datos de un archivo.dat para luego almacenar esos datos en la Base de Datos. El cual funciona de la siguiente manera:

El usuario selecciona la ruta de donde leerá el archivo y el rango de fecha que debe evaluar, existe un dataset_empleados que contiene X cantidad de empleados de una consulta con los cuales se evaluarán en el archivo leído el código del empleado y la fecha dentro del rango seleccionado, este proceso tiene varios ciclos. Al presionar aceptar comienza a realizarse el proceso.

Ejemplo Formulario:

introducir la descripción de la imagen aquí

Ejemplo archivo (Valores Separados por Coma):

introducir la descripción de la imagen aquí

Este es el Código ejemplo (omití todas las validaciones para no saturar la pregunta con mucho código):

   private void backgroundWorker1_Dowork(object sender, DoWorkEventArgs e)
    {
        string linea = string.Empty, codigo_empleado = string.Empty,
               fecha = string.Empty, hora = string.Empty;
        int progreso = 0;
        double total_lineas = 0;

        //Este ciclo va cambiando de Archivo en la ruta.
        for (DateTime fecha_archivo = fecha_desde.Value.Date; fecha_archivo <= fecha_hasta.Value.Date; fecha_archivo = fecha_archivo.AddDays(1))
        {
            nombre_archivo = fecha_archivo.ToString("ddMMyyyy") + ".dat"; //Obtener el nombre del archivo.

            foreach (DataGridViewRow row in dgrid_ruta.Rows)
            {
                if (Convert.ToBoolean(dgrid_ruta.Rows[row.Index].Cells[0].Value) == true)
                {
                    //Genero la ruta del archivo y le sumo el nombre. 
                    ruta_archivo = Convert.ToString(dgrid_ruta.Rows[row.Index].Cells[2].Value + nombre_archivo);

                    if (File.Exists(ruta_archivo))
                    {
                        //Este ciclo es para que cambie dia a dia la fecha dentro del archivo
                        for (DateTime fecha_dia = fecha_desde.Value.Date; fecha_dia <= fecha_hasta.Value.Date; fecha_dia = fecha_dia.AddDays(1))
                        {
                            using (StreamReader lector = new StreamReader(ruta_archivo))
                            {
                                while (lector.Peek() > -1)
                                {
                                    Thread.Sleep(0001); //Tiempo de espera. 

                                    linea = lector.ReadLine(); //Capturo cada linea del archivo

                                    progreso++;
                                    total_lineas = File.ReadAllLines(ruta_archivo).LongLength;

                                    backgroundWorker1.ReportProgress(progreso, "");

                                    if (!String.IsNullOrEmpty(linea))
                                    {
                                        Thread.Sleep(0001); //Tiempo de espera. 

                                        ///Obtengo la fecha y codigo del empleado del archivo
                                        //y le indico en que posición se encuentra.
                                        codigo_empleado = linea.Split(',')[0];
                                        fecha = linea.Split(',')[1];

                                        for (int indice = 0; indice < dataset_empleados.Tables[0].Rows.Count; indice++)
                                        {
                                            string codigo_empleado_ds = dataset_empleados.Tables[0].Rows[indice]["codigo_empleado"].ToString();

                                            //Comparo el codigo del empleado y la fecha del Rango con la fecha  del Archivo.
                                            if (codigo_empleado_ds.Equals(codigo_empleado) &&
                                                fecha_dia.ToShortDateString().Equals(fecha))
                                            {
                                                //Obtengo los datos que quiero del archivo y le indico su posición dentro del archivo.
                                                fecha = linea.Split(',')[1];
                                                hora = linea.Split(',')[2];

                                                //AQUI EJECUTO UN PROCEDIMIENTO UN ALMACENADO....
                                                //.....
                                            }
                                        } //Termina Ciclo Empleados
                                    }
                                } //Termina de Leer el Archivo
                            }
                        } //Termina Ciclo Recorrer Fecha dentro del archivo
                    } 
                } 
            } //Termina Ciclo que recorre las rutas de los archivos
        } //Termina Ciclo que busca los archivos por su nombre.
    }

El proceso lo realiza de forma correcta pero se tarda mucho en realizarlo es sumamente lento, Estoy utilizando la herramienta BackgroundWorker realizo el proceso en el Evento DoWork para ejecutar el proceso en segundo plano y que el usuario tenga disponible la UI para poder Detener el proceso si lo desea.

EDIT

Método para invocar el procedimiento de almacenado:

 private void ejecutar_procedure(decimal codigo_empleado, string fecha, string hora, int tipo_hora,
                                    string modulo, string terminal, string usuario)
    {
        //Variable que identifica si se realizó el proceso. 
        bool correcto = false;

        SqlTransaction Transaccion = null;

        //variable para el valor de retorno
        int Valor_Retornado = 0;

        try
        {
            //Método que Abre la conexion. 
            abrir_conexion();

            //se inicia la transacción
            Transaccion = sql_conexion.BeginTransaction(IsolationLevel.ReadCommitted);

            using (SqlCommand comando = new SqlCommand("grabarDatosModulo", sql_conexion, Transaccion))
            {

                comando.CommandType = CommandType.StoredProcedure;

                //se limpian los parámetros
                comando.Parameters.Clear();

                comando.Parameters.AddWithValue("@Codigo_empleado", codigo_empleado);
                comando.Parameters.AddWithValue("@Fecha", fecha);
                comando.Parameters.AddWithValue("@Hora", hora);
                comando.Parameters.AddWithValue("@tipo_hora", tipo_hora);
                comando.Parameters.AddWithValue("@Modulo", modulo);
                comando.Parameters.AddWithValue("@Terminal", terminal);
                comando.Parameters.AddWithValue("@Usuario", usuario);
                comando.Parameters.Add("@return", SqlDbType.Int).Direction = ParameterDirection.ReturnValue; 
                comando.ExecuteNonQuery();

                Valor_Retornado = Convert.ToInt32(comando.Parameters["@return"].Value);

                if (Valor_Retornado == 0)
                    correcto = true;
            }

        }
        catch (SqlException excepcion)
        {
            MessageBox.Show("Ha ocurrido un error  en la operación. " + "\n\nDetalles del Error:\n\n "
                                 + excepcion.Message, "ERROR PROCESANDO", MessageBoxButtons.OK, MessageBoxIcon.Error);
        }
        finally
        {
            //si el procedimeinto se efectuó con éxito
            if (correcto)
            {
                //se realiza la transacción
                Transaccion.Commit();

                //Método que cierra la conexión
                cerrar_conexion();
            }
            //si se presentó algun error
            else
            {
                //se deshace la transacción
                Transaccion.Rollback();

                //cerramos la conexión
                cerrar_conexion();
            }
        }
    }

Aquí adjunto este archivo Explicación del proceso - Enlace GoogleDrive que contiene una explicación un poco mas amplia de lo que realiza el proceso.

Nota: Los archivos contienen muchas lineas de datos.

Entorno: Visual Studio 2010 (WindowsForms, C#) & .NET NetFramework 4

1

1 respuesta 1

-1

Cargar un fichero de texto tipo .csv en una tabla es rápido con un INSERT y un SELECT al fichero de texto

INSERT INTO
   Tabla
SELECT
   f1 as Campo1, f2 as Campo2, f3 as Campo3
FROM
   [Text;HDR=NO;DATABASE=Path].[fichero.csv]
  • Tabla - la tabla a rellenar
  • CampoN - los nombres de los campos de la tabla
  • Path - la ruta del fichero
  • fichero.csv - el fichero

Quizás trabajando con esa 'Tabla' (temporal) sería más rápido realizar las validaciones.

Hasta donde puedo ver/entender tienes un proceso de lectura línea a línea del fichero .csv y una actualización a la base de datos por cada línea. Mi sugerencia, que puede no ser útil en tu caso por el resto de la lógica del programa, pasa por cargar el fichero en una tabla y a partir de ahí trabajar con tablas de la base de datos, consultas de selección, cruce de datos, etc.

5
  • 1
    por favor mira Cómo responder. Si no estas seguro que esta seria una solucion, por que crees que vale la pena que OP la pruebe? podrias ser mas claro?
    – gbianchi
    el 20 feb. 2018 a las 2:24
  • Quizás no me he explicado lo suficiente. Hasta donde veo en el código lee un fichero CSV y después va línea a línea buscando registros que se correspondan con un número de empleado y fecha, si se cumple la condición actualiza la base de datos. Mi sugerencia textual (no he escrito el código) pasa por cargar el fichero CSV en un tabla y con un SELECT obtener los empleados que cumplan la condición y un INSERT que los introduzca en la base de datos. No hay bucle, por lo que sería mucho más rápido. El único código que he incluido en la respuesta es el que cargaría el fichero CSV en un tabla.
    – JLPrieto
    el 21 feb. 2018 a las 15:52
  • Claro, pero estas suponiendo que puede insertarlo en una base de datos. Mira el chat que se armo, no puede usar una base de datos.
    – gbianchi
    el 21 feb. 2018 a las 15:53
  • No es un archivo CSV, tanto en el título de la pregunta , como en la descripción se muestra que es un archivo .dat el 22 feb. 2018 a las 20:39
  • Sí, es un fichero .dat, pero él mismo pone una imagen de un fichero con datos separados por comas con la referencia "Ejemplo archivo (Valores Separados por Coma) ". Puedes cargar un .csv, un .dat, un .txt, etc. Pensaba que podía ser de ayuda el sugerir que cargara el fichero y trabajara con consultas sql en lugar de mantener un bucle que parece es lo que le complica la vida. Si consideráis que esto no es válido borro la sugerencia y san se acabó.
    – JLPrieto
    el 22 feb. 2018 a las 21:04

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.