Optimizar proceso de lectura/obtención de datos (Archivo.dat), C#
¿Cómo puedo optimizar este proceso? , ya sea usando
Linq
o alguna otra sugerencia.
Estoy realizando un proceso en el cual, debo obtener ciertos datos de un archivo.dat
para luego almacenar esos datos en la Base de Datos. El cual funciona de la siguiente manera:
El usuario selecciona la
ruta
de donde leerá el archivo y elrango de fecha
que debe evaluar, existe undataset_empleados
que contiene X cantidad de empleados de una consulta con los cuales se evaluarán en el archivo leído el código del empleado y la fecha dentro del rango seleccionado, este proceso tiene varios ciclos. Al presionar aceptar comienza a realizarse el proceso.
Ejemplo Formulario:
Ejemplo archivo (Valores Separados por Coma):
Este es el Código ejemplo (omití todas las validaciones para no saturar la pregunta con mucho código):
private void backgroundWorker1_Dowork(object sender, DoWorkEventArgs e)
{
string linea = string.Empty, codigo_empleado = string.Empty,
fecha = string.Empty, hora = string.Empty;
int progreso = 0;
double total_lineas = 0;
//Este ciclo va cambiando de Archivo en la ruta.
for (DateTime fecha_archivo = fecha_desde.Value.Date; fecha_archivo <= fecha_hasta.Value.Date; fecha_archivo = fecha_archivo.AddDays(1))
{
nombre_archivo = fecha_archivo.ToString("ddMMyyyy") + ".dat"; //Obtener el nombre del archivo.
foreach (DataGridViewRow row in dgrid_ruta.Rows)
{
if (Convert.ToBoolean(dgrid_ruta.Rows[row.Index].Cells[0].Value) == true)
{
//Genero la ruta del archivo y le sumo el nombre.
ruta_archivo = Convert.ToString(dgrid_ruta.Rows[row.Index].Cells[2].Value + nombre_archivo);
if (File.Exists(ruta_archivo))
{
//Este ciclo es para que cambie dia a dia la fecha dentro del archivo
for (DateTime fecha_dia = fecha_desde.Value.Date; fecha_dia <= fecha_hasta.Value.Date; fecha_dia = fecha_dia.AddDays(1))
{
using (StreamReader lector = new StreamReader(ruta_archivo))
{
while (lector.Peek() > -1)
{
Thread.Sleep(0001); //Tiempo de espera.
linea = lector.ReadLine(); //Capturo cada linea del archivo
progreso++;
total_lineas = File.ReadAllLines(ruta_archivo).LongLength;
backgroundWorker1.ReportProgress(progreso, "");
if (!String.IsNullOrEmpty(linea))
{
Thread.Sleep(0001); //Tiempo de espera.
///Obtengo la fecha y codigo del empleado del archivo
//y le indico en que posición se encuentra.
codigo_empleado = linea.Split(',')[0];
fecha = linea.Split(',')[1];
for (int indice = 0; indice < dataset_empleados.Tables[0].Rows.Count; indice++)
{
string codigo_empleado_ds = dataset_empleados.Tables[0].Rows[indice]["codigo_empleado"].ToString();
//Comparo el codigo del empleado y la fecha del Rango con la fecha del Archivo.
if (codigo_empleado_ds.Equals(codigo_empleado) &&
fecha_dia.ToShortDateString().Equals(fecha))
{
//Obtengo los datos que quiero del archivo y le indico su posición dentro del archivo.
fecha = linea.Split(',')[1];
hora = linea.Split(',')[2];
//AQUI EJECUTO UN PROCEDIMIENTO UN ALMACENADO....
//.....
}
} //Termina Ciclo Empleados
}
} //Termina de Leer el Archivo
}
} //Termina Ciclo Recorrer Fecha dentro del archivo
}
}
} //Termina Ciclo que recorre las rutas de los archivos
} //Termina Ciclo que busca los archivos por su nombre.
}
El proceso lo realiza de forma correcta pero se tarda mucho en realizarlo es sumamente lento, Estoy utilizando la herramienta BackgroundWorker realizo el proceso en el
Evento DoWork
para ejecutar el proceso en segundo plano y que el usuario tenga disponible la UI para poderDetener
el proceso si lo desea.
EDIT
Método para invocar el procedimiento de almacenado:
private void ejecutar_procedure(decimal codigo_empleado, string fecha, string hora, int tipo_hora,
string modulo, string terminal, string usuario)
{
//Variable que identifica si se realizó el proceso.
bool correcto = false;
SqlTransaction Transaccion = null;
//variable para el valor de retorno
int Valor_Retornado = 0;
try
{
//Método que Abre la conexion.
abrir_conexion();
//se inicia la transacción
Transaccion = sql_conexion.BeginTransaction(IsolationLevel.ReadCommitted);
using (SqlCommand comando = new SqlCommand("grabarDatosModulo", sql_conexion, Transaccion))
{
comando.CommandType = CommandType.StoredProcedure;
//se limpian los parámetros
comando.Parameters.Clear();
comando.Parameters.AddWithValue("@Codigo_empleado", codigo_empleado);
comando.Parameters.AddWithValue("@Fecha", fecha);
comando.Parameters.AddWithValue("@Hora", hora);
comando.Parameters.AddWithValue("@tipo_hora", tipo_hora);
comando.Parameters.AddWithValue("@Modulo", modulo);
comando.Parameters.AddWithValue("@Terminal", terminal);
comando.Parameters.AddWithValue("@Usuario", usuario);
comando.Parameters.Add("@return", SqlDbType.Int).Direction = ParameterDirection.ReturnValue;
comando.ExecuteNonQuery();
Valor_Retornado = Convert.ToInt32(comando.Parameters["@return"].Value);
if (Valor_Retornado == 0)
correcto = true;
}
}
catch (SqlException excepcion)
{
MessageBox.Show("Ha ocurrido un error en la operación. " + "\n\nDetalles del Error:\n\n "
+ excepcion.Message, "ERROR PROCESANDO", MessageBoxButtons.OK, MessageBoxIcon.Error);
}
finally
{
//si el procedimeinto se efectuó con éxito
if (correcto)
{
//se realiza la transacción
Transaccion.Commit();
//Método que cierra la conexión
cerrar_conexion();
}
//si se presentó algun error
else
{
//se deshace la transacción
Transaccion.Rollback();
//cerramos la conexión
cerrar_conexion();
}
}
}
Aquí adjunto este archivo Explicación del proceso - Enlace GoogleDrive que contiene una explicación un poco mas amplia de lo que realiza el proceso.
Nota: Los archivos contienen muchas lineas de datos.
Entorno: Visual Studio 2010 (WindowsForms, C#) & .NET NetFramework 4